Evaluering av nasjonale prøver som system. Idunn Seland Nils Vibe Elisabeth Hovdhaugen

Transkript

1 Evaluering av nasjonale prøver som system Idunn Seland Nils Vibe Elisabeth Hovdhaugen Rapport 4/2013

2

3 Evaluering av nasjonale prøver som system Idunn Seland Nils Vibe Elisabeth Hovdhaugen Rapport 4/2013

4 Rapport 4/2013 Utgitt av Adresse Oppdragsgiver Adresse Trykk Nordisk institutt for studier av innovasjon, forskning og utdanning PB 5183 Majorstuen, NO-0302 Oslo. Besøksadresse: Wergelandsveien 7, 0167 Oslo Utdanningsdirektoratet Postboks 9359 Grønland, 0135 OSLO Link Grafisk ISBN ISSN (online)

5 Forord Nasjonale prøver inngår i det nasjonale systemet for vurdering av kvaliteten i grunnopplæringen. Prøvene avholdes i lesing, regning og engelsk, og skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål. De nasjonale prøvene ble avholdt første gang i 2004, og etter evaluering og justering har prøvene deretter blitt avholdt for elever på 5. og 8. trinn siden høsten I denne rapporten analyserer vi data fra Utdanningsdirektoratet, skoleeiernivået, skoleledernivået, lærernivået, elever og foresatte som gjelder arbeid og erfaringer med nasjonale prøver som system. Undersøkelsen er gjennomført på oppdrag fra Utdanningsdirektoratet. Prosjektleder for arbeidet har vært Idunn Seland. Elisabeth Hovdhaugen og Nils Vibe har stått for de kvantitative analysene av skoleeiernivået, skoleledernivået og lærernivået, mens Seland har samlet inn og bearbeidet det kvalitative datamaterialet med bistand fra Hovdhaugen og Helene Nes, masterstudent ved UiO. Alle forskerne har bidratt med kommentarer og innspill til kollegaenes arbeid. Rapporten er gjennomgått og kvalitetssikret av Tine S. Prøitz, spesialrådgiver ved NIFU. Vi vil gjerne takke Helene Nes for bistand i å rekruttere skoler og lærere til spørreundersøkelsen som utgjør hovedgrunnlaget for kapittelet om lærerne, og for hjelp til tilrettelegging av pilotering av lærersurveyen. Vi vil også gjerne takke skolelederne, lærerne, elever og foresatte ved de seks skolene som vi besøkte i forbindelse med datainnsamlingen. Oslo, april 2013 Sveinung Skule Direktør Vibeke Opheim Forskningsleder 3

6 4

7 Innhold Sammendrag... 7 English summary Å evaluere nasjonale prøver som system Evalueringens formål Operasjonalisering til analyse Informasjon, veiledning og kontroll Forberedelse og gjennomføring av prøvene Bruken av resultatene fra nasjonale prøver Avgrensning av arbeidet og oppbygningen av rapporten Hovedfunn fra analysen Informasjonen om prøvene er tilstrekkelig kontrollen er mangelfull Skolene lar elevene øve til nasjonale prøver noen skoler mer enn andre Skolelederne ser nytte av resultatene lærerne er avmålte Avslutning Metode og data Forskningsdesign et overblikk Kvantitative data Lærersurveyen Spørreundersøkelsenes representativitet. En konklusjon Kvalitative data Dokumentstudier Utvalg av kvalitative undersøkelsesenheter Om observasjoner av 5. trinn i prøvesituasjonen Det statlige nivået Oppdragsbrev til Utdanningsdirektoratet Rammeverket for nasjonale prøver Veileder til skoleeiere og skoleledere med retningslinjer for gjennomføring Behov for lokal vurdering i fritak av elever fra nasjonale prøver Tilrettelegging kan være nødvendig, men skal ikke virke prestasjonsfremmende Korrekt utført prosedyre for påmelding til prøven skal sikre at fritaksandelen blir reell Det er nødvendig at elever forberedes til nasjonale prøver Prøveresultatene gir informasjon om gruppenivå Sammenligning kun mellom lokale resultater og nasjonalt gjennomsnitt for inneværende år Veiledninger til lærere Informasjon om nasjonale prøver til foreldre Sammenligning av omtale av prøvenes formål Oppsummering Fra skoleeiernes ståsted Før gjennomføring av prøvene Informasjon og veiledning til skolene fra skoleeier Eget informasjonsmateriell fra kommunene er uvanlig Oppfølging av påmelding til prøvene Praktisering av fritaksreglene Etter gjennomføringen av prøvene Registrering av elevstatus etter prøvene Videre oppfølging av resultatene fra nasjonale prøver Styring av tidsbruk og økonomiske sanksjoner Offentliggjøring av resultatene fra nasjonale prøver Oppsummering Fra skoleledernes ståsted Før gjennomføring av prøvene Påmelding til prøvene Øves det til prøvene? Og i så fall hvordan? Bruk av materiell til forberedelser Hvem bestemmer over tidsbruken? Kjennskap til fritaksreglene Gjennomføringen av prøvene Etter gjennomføring av prøvene Registrering av elevstatus etter prøvene

8 5.3.2 Bruken av resultatene fra prøvene Skoleleders overordnede erfaring med prøvene Oppsummering Fra lærernes ståsted Før gjennomføring av prøvene Informasjon om nasjonale prøver Påmelding til nasjonale prøver Lærernes forberedelser av elevene til nasjonale prøver Fritak av elever Gjennomføring av prøvene Etter gjennomføringen av prøvene Registering av elevstatus Oppfølging av elevenes resultater Offentliggjøring av resultater fra nasjonale prøver Et generelt mål for opplevd nytte av prøvene blant lærerne Oppsummering Fra elevenes ståsted Før gjennomføring av prøvene Elever på 5. trinn øver til prøvene Elever på 8. trinn: prøvene måler ikke oss Gjennomføring av prøvene Elever på 5. trinn Elever på 8. trinn om gjennomføring av prøvene Etter gjennomføring av prøvene Oppsummering Resultatene fra nasjonale prøver brukt på aggregert nivå Beregning og presentasjon av resultater på aggregert nivå Usikkerheten rundt gjennomsnittsresultater Dette er Skole-Norge En typisk norsk kommune under lupen Hvilke tall kan sammenliknes? Et forslag til alternativ presentasjon Oppsummering Nasjonale prøver oppsummering og avsluttende drøfting Oppsummering: informasjon, veiledning og kontroll Det statlige nivåets informasjon, veiledning og kontroll Skoleeiers informasjon, veiledning og kontroll Skoleleders informasjon, veiledning og kontroll Lærere om informasjon, veiledning og kontroll Elever og foresatte om informasjon, veiledning og kontroll Oppsummering: Forberedelse og gjennomføring av prøvene Statlig nivå om forberedelse og gjennomføring av prøvene Skoleeiers arbeid med forberedelse og gjennomføring Skoleleders arbeid med forberedelse og gjennomføring Lærernes arbeid med forberedelse og gjennomføring Elever og foresatte om forberedelse og gjennomføring Bruken av resultatene Statlig nivå om bruk av resultatene Skoleeiers bruk av resultatene Skoleleders bruk av resultatene Lærernes bruk av resultatene Elever og foresatte om bruken av resultatene Prøvenes funksjon Avslutning Referanser Vedlegg Tabelloversikt Figuroversikt

9 Sammendrag Denne rapporten omhandler prosjektet Evaluering av nasjonale prøver som system. Formålet med prosjektet er å skaffe frem et bredt kunnskapsgrunnlag som kan brukes av flere nivåer i utdanningssystemet, som grunnlag for videre diskusjoner og videreutvikling av administrasjonen og gjennomføringen av nasjonale prøver. Oppdragsgiver ønsket informasjon om følgende tema: Informasjon og veiledning mellom alle leddene i systemet, fra og med nasjonalt nivå til og med elever og foresatte Påmelding til prøvene Forberedelser av elevene til prøvene Forberedelser av foreldre/foresatte til prøvene Kontroll av elevstatus etter prøvegjennomføring Den lokale forvaltningen av fritaksreglene Elektronisk gjennomføring Etterarbeid og oppfølging Undersøkelsen omhandler ikke det faktiske innholdet eller kvaliteten i de nasjonale prøvene eller det elektroniske prøveadministrasjonssystemet (PAS). Evalueringen gjør rede for nasjonal og lokal praksis og holdninger til prøvene slik dette fremkommer gjennom data fra skoleeiere, skoleledere, lærere, elever og foresatte, og vurderer hvorvidt praksis er i tråd med regelverk og veiledninger for prøvene. Prosjektet tar utgangspunkt i prøvene slik de ble administrert og gjennomført høsten 2012, og er finansiert og utført på oppdrag av Utdanningsdirektoratet. De kvantitative dataene i denne undersøkelsen er samlet inn gjennom Utdanningsdirektoratets spørsmål til skole-norge høsten 2012 og gjennom en lærersurvey utarbeidet til evalueringens formål. De kvalitative dataene har vi samlet inn gjennom intervjuer med skoleledere, lærere, elever og foreldre samt ved observasjoner av 5. trinn under gjennomføring av nasjonale prøver på til sammen tre ungdomsskoler og tre barneskoler fordelt på fire kommuner. Til grunn for evalueringen ligger også styrings- og veiledningsdokumenter for prøvene utarbeidet av Utdanningsdirektoratet, og rapporter fra fylkesmennenes utdanningsavdelinger samlet inn av Utdanningsdirektoratet til denne evalueringens formål. 7

10 Hovedfunn Tilfredshet og nytte Gjennom spørreundersøkelsen og intervju gir de fleste skolelederne uttrykk for at nasjonale prøver har gitt dem et godt redskap til å utvikle skolen. Lærerne er mer nølende til denne påstanden. Flertallet av lærerne er verken svært enige eller svært uenige i at nasjonale prøver har gitt dem et godt redskap i arbeidsdagen. Mange lærere opplever at prøvene gir dem kunnskap om elevene som de enten har fra før, eller som de kunne skaffet seg gjennom andre kartleggingsprøver som de mener gir dem mer konkrete tilbakemeldinger om hva de kan gjøre for å utvikle den enkelte elevs læringsresultater i riktig retning. Lærere på store skoler hvor ledelse og lærere arbeider som kollegium både i forberedelsen og bruken av resultatene, ser imidlertid større nytte av nasjonale prøver enn lærere som opplever at gjennomføringen og etterarbeidet med prøvene hviler på dem alene. Arbeidet med nasjonale prøver synes likevel å ha blitt en integrert del av arbeidet for å styrke elevenes grunnleggende ferdigheter på de fleste skoler. Informasjon og veiledning Av spørreundersøkelsene og intervjuer med skoleledere, lærere og foresatte går det frem at informasjon mellom Utdanningsdirektoratet og skoleeiere samt skoler ser ut til å flyte fint, slik at de underliggende nivåene helt ned til lærernivå oppgir at de har tilstrekkelig informasjon for å kunne administrere og gjennomføre prøvene. Foresatte sier seg i intervju tilfredse med informasjonen de får om prøvene fra skolen. Utdanningsdirektoratet har med hensikt gjort enkelte av formuleringene i regelverk og veiledninger åpne for lokale vurderinger og skjønn. Gjennom intervjuer med skoleledere og lærere har vi sett at dette kan skape noe usikkerhet, særlig når det gjelder tilrettelegging for elever i prøvesituasjonen. Gjennom intervjuer forteller elever på 8. trinn at de har fått vite at prøvene ikke måler dem som individer, men derimot ferdighetsnivået til klassen, eller trinnet forstått som hele kommunen eller landet. Når prøven ikke måler elevene som individer og ikke gir karakter, er det ifølge disse elevene heller ikke nødvendig å forberede seg eller grue seg. Vi ser imidlertid at dette også kan gjøre elevene dårlig motiverte for prøven. Forberedelser til prøvene Spørreundersøkelsene til skoleledere og lærere viser at prøvene i all hovedsak forberedes og gjennomføres i tråd med intensjonene. I veiledninger til lærerne oppfordrer Utdanningsdirektoratet til at elevene gjøres kjent med oppgavetyper og prøveformat, og direktoratet har gjort eksempeloppgaver tilgengelig på nett slik at elevene kan få øve. Likevel viser direktoratet til at det går en grense for øving, der skolen setter til side eller prioriterer ned annen undervisning i stor utstrekning for å la elevene øve til nasjonale prøver. I spørreundersøkelsen til lærerne svarer et mindretall av mellomtrinnslærerne at de legger annen undervisning til side for å forberede elevene til prøvene. Samtidig svarer både skoleledere og lærere i spørreundersøkelsene at det er skolen, og fremfor alt lærerne, som avgjør hvor mye tid som skal brukes på forberedelser til nasjonale prøver. Øving til prøvene er generelt vanligere på mellomtrinnet enn på ungdomstrinnet. Foresatte svarer i intervju at de opplever at lærerne er gode til å trygge og forberede elevene på prøvesituasjonen. Gjennomføring av prøvene Både fra kommentarfeltene i spørreundersøkelsen til lærerne og fra intervjuer på skolene har vi fått rapporter om at det kan skje uforutsette ting i selve prøvesituasjonen. Noe skyldes svakheter ved skolenes datautstyr og nettilgang, som er skoleeiers ansvar. Det kan også oppstå forsinkelser og problemer ved innlogging. Ved observasjon av gjennomføring av prøvene i lesing og regning på 5. 8

11 trinn har vi også sett at det kan oppstå uro ved avslutningen av prøvene, og at det kan være vanskelig for læreren å holde elevenes fokus på prøven hele den tiden de har til rådighet. Flere foresatte sier i intervju at barna deres opplever prøven som en del av den vanlige skoledagen, mens enkelte tilbakemeldinger fra denne gruppen tyder på at svake elever kan grue seg mye og mangle opplevelsen av mestring i prøvesituasjonen. Bruken av resultatene fra prøvene Lærerne forteller gjennom spørreundersøkelsen og intervju at de bruker resultatene og veiledningsmateriellet for å fortelle elevene hvilket mestringsnivå elevene ligger på. Veiledningsmateriellet skal gi lærerne grunnlag for å gi tydeligere og spissede tilbakemeldinger om hva eleven kan jobbe med for å bli bedre, men lærere mener i intervju at de ikke har tid til å gå inn på hver enkelt elevs resultater på den måten som veiledningsmaterialet legger til rette for. Elever på 8. trinn forteller på sin side at de ønsker seg klarere tilbakemeldinger om hva de kan jobbe mer med når resultatene fra prøvene foreligger. De aller fleste skoleeierne oppgir i spørreundersøkelsen at de vurderer resultatet av prøvene som viktig for utviklingen av grunnskolen i kommunen, men det er samtidig et skille mellom Østlandet, og særlig hovedstadsområdet, på den ene siden, og resten av landet på den andre siden når det gjelder engasjement og vurdering av prøveresultatenes betydning. Praktisering av fritaksreglene Gjennom intervjuer med skoleledere går det frem at fritaksreglene noen steder praktiseres så strengt at elever som har generell lav måloppnåelse og lav grad av mestring må gjennomføre prøven. Reglene oppfattes som klare og tydelige, men elever kan ifølge dette regelverket ikke fritas fra nasjonale prøver dersom de ikke på forhånd har enkeltvedtak om spesialundervisning eller rett til særskilt opplæring i norsk for elever med minoritetsspråklig bakgrunn. Hvis slike forutgående enkeltvedtak ikke foreligger, for eksempel som følge av skolens overordnede innsats for å redusere omfanget av spesialundervisning til fordel for individuelt tilpasset undervisning i vanlig klasse, må elever med lærevansker gjennomføre prøvene til tross for at skolen kan mene at elevene ikke vil ha utbytte av det. Det kvalitative materialet viser også eksempler på at skoler ønsker at alle elever skal ta prøvene for å få et så riktig bilde av elevenes ferdighetsnivå som mulig. Oppfølging og kontroll av skolenes praktisering av regelverket Kontrollen med påmelding og registrering av elevstatus synes mangelfullt utbygd blant flertallet av fylkesmennene og skoleeierne. Denne informasjonen fremkommer gjennom spørreundersøkelsen til skolelederne og rapportene fra fylkesmennenes utdanningsavdelinger. De aller fleste skoleeiere bruker styringsdialogen med skolelederne til å informere og veilede om nasjonale prøver, hvor de også gir råd om bruk av prøveresultatene og forvaltning av fritaksbestemmelsene. Likevel er det under en tredjedel av skoleeierne som kontrollerer at skolene har fulgt regelverket. De største kommunene følger opp arbeidet med de nasjonale prøvene i betydelig større grad enn de minste, og de gjelder særlig de delene av arbeidet som omfatter veiledning og kontroll. Rapportene fra fylkesmennene viser at et mindretall av disse har gjennomført tilsyn med kommunene som skoleeiere i forvaltningen av nasjonale prøver lokalt. De fleste fylkesmannsembetene har ikke formalisert oppfølgingen og kontrollen med kommunenes forvaltning av nasjonale prøver, og noen få av disse embetene har svært liten kjennskap til hvordan kommunene som skoleeiere arbeider med nasjonale prøver. Bruken av resultater fra nasjonale prøver på aggregert nivå Forenklingen av prøveresultater i form av gjennomsnittsverdier kan gi misvisende tall, spesielt for små skoler og kommuner. Utdanningsdirektoratets nettportal skoleporten.no gjengir ikke de faktiske feilmarginene for gjennomsnittsverdiene som presenteres. Flertallet av skolene og nærmere 9

12 halvparten av kommunene har så få elever at resultatene i skoleporten blir av liten verdi. Dette fordi gjennomsnittstall basert på få elever er beheftet med stor statistisk usikkerhet. For å styrke skolene og skoleeiernes bruk av resultatene bør gjennomsnittsverdiene baseres på de faktiske prøveresultatene og eventuelt standardiseres, slik at de blir sammenliknbare med resultater beregnet etter dagens metode. Alle gjennomsnittsverdier bør presenteres med statistisk feilmargin, og antallet elever som ligger til grunn for tallene bør oppgis. Prøvenes funksjon Oppsummeringsvis kan vi si at skoleeiere og skoleledere mener at de har nytte av prøvene som et administrativt styringsverktøy i utviklingen av grunnskolen, men at ikke alle skoleeiere utnytter prøveresultatene på denne måten og at prøvene kanskje heller ikke kan utnyttes på denne måten i små kommuner fordi gjennomsnittstallene vil være basert på få elever. En del skoleeiere ser ut til å gjøre aktivt bruk av informasjonen prøvene gir, og engasjerer seg i skolenes arbeid gjennom oppfølging og kontroll. For små kommuner med små skoler er resultatene mindre pålitelige, og gir dermed informasjon som er preget av usikkerhet og som er vanskelig å omsette i konkrete tiltak. Manglende rutiner for kontrolltiltak svekker prøvene som redskap for ansvarliggjøring av skoleeiere så vel som skoleledere. Skolelederne har på sin side jevnt over nytte av prøvene, både som administrativt og pedagogisk styringsredskap. Skolelederne har slik fått et redskap til å utvikle den enkelte skole, og mener at informasjonen fra prøvene kan gi grunnlag for å allokere eller styrke innsats for grunnleggende ferdigheter innad på den enkelte skole. Lærerne er til dels enige med skolelederne i at de gjennom prøvene har fått et godt redskap til å sjekke om elevene har tilegnet seg grunnleggende ferdigheter i tråd med læreplanens mål, dels er lærerne frustrerte over at prøvene begrenser deres muligheter til å gi tilbakemeldinger til den enkelte elev. Prøvenes funksjon som skolepolitisk styringsverktøy står altså forholdsvis sterkt på skoleledernivå, men litt svakere på skoleeiernivå og er så godt som fraværende på lærernivå. Prøvenes funksjon som verktøy for pedagogisk utvikling står sterkt på skoleledernivå, men er svakere både på skoleeiernivå og lærernivå. Samlet kan vi si at skolelederne kommer best ut av dette, idet de opplever at de kan bruke nasjonale prøver til å styre og utvikle skolen. Lærere og små skoleeiere får generelt mindre utbytte av resultatene som prøvene gir. Dette utelukker imidlertid ikke at et overordnet fokus på kvalitet i opplæringen, som nasjonale prøver også er en del av, har styrket lærerne i deres innsats for å forbedre elevenes skoleresultater. Slik kan man si at nasjonale prøver har kommet lærerne indirekte til gode og styrket dem i arbeidet. Avslutning Vår evaluering tyder på godt utbytte fra nasjonale prøver for skoleeiere, skoleledere, lærere, elever, foresatte og de nasjonale utdanningsmyndighetene fremmes av at kommunen har forholdsvis mange skoler/elever og et aktivt forhold til rollen som skoleeier, der lærerne på den enkelte skolen opplever å være del av et kollektiv som samarbeider med ledelsen om den pedagogiske utviklingen av skolen. Her kan prøvene ha stor betydning både for arbeidshverdagen og for hvordan skolen arbeider langsiktig med å forbedre elevenes læringsresultater. Siden skole-norge viser stor variasjon i disse faktorene, vil likevel prøvenes bruk og betydning være forskjellig på tvers av skoler og kommuner. 10

13 English summary Summary This report documents the project A system evaluation of national tests, on the tests used in Norwegian schools. The aim of the project is to investigate if and how the use of national tests is in line with the rules and guidelines set by the government, and the pedagogic functions of these tests. Hence, the evaluation does not assess the quality of the test; the tests are assumed to be of good quality and measure what they are intended to measure. Instead the evaluation focuses on how the tests are used and perceived by different stakeholders (school owners, principals, teachers, pupils and parents). The main features of the current system for national tests have been in place since All pupils in 5 th grade and 8 th grade complete national tests in reading literacy, mathematical literacy and English. This report is based on a rich set of different types of data: surveys among school owners, school principals and teachers, interviews with government representatives, principals, teachers, pupils and parents and also classroom observations of how the tests are carried out in practice. In addition to the data collected, the analysis builds on a document analysis of formal frameworks, policies and guidelines relating to national tests. The tests were observed as they were deployed in autumn of 2012, and the frameworks and guidelines analysed were those presented at that time. This evaluation focuses on all stakeholders and on the governmental level, and evaluates three different aspects of the tests. Firstly, how information, guidance and control of the tests is handled; secondly, how preparation and execution of the tests is conducted; and thirdly the use of the results by different stakeholders. Main findings Overall, national tests are mainly implemented in line with the intentions set out in guidelines and instructions from the government. However, there are some examples of unintended consequences of the testing, as a minority of teachers report that schools spend extra time training and preparing for national test by rescheduling or postponing teaching in subjects that are not part of the test system (subjects other than math, Norwegian and English). Another, less anticipated unintended consequence is that some schools employ the rules for exemption from testing far too strictly, which forces children that have nothing to gain from taking the test to take them. The quantitative survey data show that there are consistent differences between groups in how they approach the national tests. Primary schools seem to put more effort into preparing for testing and analysing results from national tests than lower secondary schools, and this applies to both teachers and principals. Schools in large municipalities spend more time on preparation and analyses than 11

14 schools in smaller municipalities, and this is particularly salient in the region surrounding Oslo, where preparation for and the use of national tests seems to be an integrated part of everyday schooling. This eagerness to integrate national tests into teaching and instruction is not as evident in other parts of Norway. Information about the tests The flow of information from the Directorate for Education and Training to school owners (municipalities) and schools is good: principals, teachers and parents state that they get sufficient information about the tests. The regulations and guidelines are expressed in a way that leaves room for interpretation and local adjustments, making it possible for schools to use their discretion, for example when applying rules for exemption from the tests. As this also allows for varied interpretations that generate differences in practice between municipalities or schools, it can be argued that such differences are necessary to promote equality for pupils, both within and between schools. Preparation for the tests The Directorate for Education and Training encourages schools to prepare for the test by reviewing old tests or trying out the online testing system. Teachers and principals emphasize that the aim of preparations is to familiarize pupils with the test form. Most schools do most of their preparation in the weeks prior to the testing period, but at some schools preparation for national tests is an integrated part of the curriculum, as an element in basic skills (reading, writing, communicating, calculating, using digital tools). However, a minority of principals state that preparation for national testing distorts teaching, as other non-test subjects are rescheduled or postponed. Teachers are usually the ones determining how much time the school will spend on preparation for national tests. Apparently, schools have quite a lot of freedom to decide on the effort they put in, and most teachers do not think that they spend too much time preparing for testing. On the other hand, interviews indicate that, in teachers experience, extra time is needed to prepare low-achieving children, who do not have the formal right to be exempted from the test. Teachers in middle school state that some pupils dread the tests, and parents of low-achieving pupils agree with this. Therefore, most of the preparations focus on familiarization with the test, especially in the digital version (calculation, English). As school owners, many municipalities are involved in the preparation and implementation of national tests in schools, but this does not apply to all school owners. School owners could better attend to their potential control functions, making sure that the tests are prepared and implemented correctly in all schools. Implementation of the tests Many unexpected things can happen during testing at a school, and this may have implications for pupil scores. This may be due to weaknesses and deficiencies in the school's computer equipment and internet access, and this is the school's responsibility. We also observed commotion at the end of tests, and taken together, these kinds of differences in the test situation may create major differences across schools, and perhaps even across classes within the same school. Exemption of pupils from tests The rules for exemption from the test are employed strictly, and in some cases maybe too strictly. In order to get exempted from testing the pupil has to have a documented right to special needs education (individual decision) or have the documented right to subsidiary training in Norwegian for language minorities. Hence, if the pupil is not in one of these two categories, they have to sit the test even in cases where there is no learning gain for that pupil in taking the test. This is especially problematic for pupils that are dyslexic, but does apply to all low-performing pupils. Teachers express frustration with trying to prepare and accommodate these pupils for the test. 12

15 The use of results from national tests According to the vast majority of school owners, results from national tests are useful for school development. More than half of principals surveyed think that the tests have given them a good tool for school development. However, teachers are more reserved in their praise for national tests. This can probably be explained by the difference in the type of information principals and teachers expect to get from national tests. Principals and school owners receive measurement and management information. Teachers may be less concerned with measurement and management and more concerned with the individual feedback the test can help them provide to pupils, which the national test rarely can provide. Hence, teachers experience a tension between the function of the tests as a control tool and as a tool for pedagogic development. Teachers that work in teams are generally more satisfied with the function of the test as a pedagogical tool, while teachers that face the responsibility for national tests alone see few opportunities for further use of the test results in their teaching and feedback. Even though pupils are told that the national test measures the school s performance rather than individual performance, they still wish to get individual feedback on their performance. This illustrates the tensions around the ambition of the national tests; while they are designed to give governments and principals information to control school performance, they have at times been promoted as a way of offering feedback to individual students, even though they were not intended to provide feedback to those contributing to the results. The use of results from national tests in the public domain Instead of making test scores available to the public the scores are recalculated into average mastery levels 1 ; three levels for 5 th graders and five levels for 8 th graders. The average mastery levels are supposed to be a simplification, but this also weakens the quality of information extracted from the national tests. This may have very unfortunate consequences when groups, such as schools within a municipality, are compared. Another problem with making the average mastery levels publically available and open for comparison is that over 80 per cent of primary schools have so few pupils that comparisons rarely make sense. The online presentation does not include information on the number of pupils at each school, making it impossible to know if comparisons are valid or not. Compared to the limited benefits of providing this information, there is a potential danger of placing too much emphasis on results that are uncertain. The function of the Norwegian national tests School owners and principals both express a belief that national tests have given them a good administrative management tool for school development, but not all school owners make use of the tests in this manner. This is most salient in small municipalities, where the results are uncertain, and hard to interpret into useful feedback to schools. Principals also see the tests as a good pedagogic tool, but teachers only partly agree with this. The national tests are a good tool for control of the level of basic skills pupils have reached, but teachers are also frustrated with the limited feedback available to pupils though the national tests. This indicates that the national tests function better as an instrument for control than as an instrument for pedagogic development and individual feedback. 1 Mastery levels are publicly available at country, county and municipality level, given that there is more than one school in the municipality. See 13

16

17 1 Å evaluere nasjonale prøver som system Frem til 2000-tallet var det lite fokus på måling av resultater og dokumentasjon av måloppnåelse i den norske skolen. En OECD-rapport fra 1988 etterspurte denne formen for styringsverktøy. Rapporten påpekte et behov for kontinuerlig evaluering av norsk skole som kunne avklare de ulike nivåenes roller og ansvar. Norge manglet på denne tiden systematiserte data om resultater i opplæringen som kunne være tilgjengelig for læresteder, skoleeiere og det nasjonale nivået. (Utdanningsdirektoratet 2011: 27). Etableringen av et nasjonalt kvalitetsvurderingssystem kan derfor ses som et skifte i styringen av norsk skole (Skedsmo 2011: 76). Før dette hadde elevenes resultater i mindre grad vært sak på den politiske dagsordenen, og det var mindre innsyn i skolens faglige arbeid. (Helgøy 2003: 59). Nasjonale prøver inngår slik i det nasjonale systemet for vurdering av kvaliteten i grunnopplæringen (NKVS). Prøvene avholdes i lesing, regning og engelsk, og skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål. Slik skal prøvene gi informasjon til lærere, elever, foresatte, skoleledere, skoleeiere, de regionale statlige myndighetene og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid (Utdanningsdirektoratet 2010). Informasjonen hentet fra det nasjonale kvalitetsvurderingssystemet skal gi uttrykk for kvalitetsnivået på opplæringen, og skal derfor også danne grunnlag for arbeidet med å forbedre elevenes læringsresultater. Det nasjonale kvalitetsvurderingssystemet inngår på denne måten i utformingen av den nasjonale utdanningspolitikken (Skedsmo 2011). Prøvene ble avholdt første gang i 2004, og etter evaluering og justering har prøvene deretter blitt avholdt for elever på 5. og 8. trinn siden Fra 2010 har elever på 9. trinn gjennomført den samme prøven i lesing og regning som elever på 8. trinn (Utdanningsdirektoratet 2010; Utdanningsdirektoratet 2012). 1.1 Evalueringens formål NIFU Nordisk institutt for studier av innovasjon, forskning og utdanning fikk i 2012 i oppdrag å evaluere nasjonale prøver som system. En evaluering, skriver Peter Dahler-Larsen (2012: 188), er en systematisk vurdering av utfall, prestasjoner og organisering som foregår i forbindelse med offentlig virksomhet, med henblikk på å gi en vurdering av praktiske handlingssituasjoner. En evalueringssituasjon tar alltid utgangspunkt i en bestemt kunnskapsinteresse, og i vårt tilfelle er kunnskapsinteressen spesifisert av oppdragsgiver i form av en rekke tema som evalueringen skal belyse. Disse temaene er: Informasjon og veiledning mellom alle leddene i systemet, fra og med nasjonalt nivå til og med elever og foreldre/foresatte Påmelding til prøvene, herunder rutiner, kontroll etc. Forberedelser til prøvene, herunder informasjon, drilling før testen, bli kjent med oppgaveformatene og prøvesituasjonen etc. Forberedelser av foreldre/foresatte til prøvene 15

18 Kontroll av elevstatus etter prøvegjennomføring fra henholdsvis skole og skoleeier Den lokale forvaltningen av fritaksreglene, herunder fortolkning av reglene, forberedelser, rutiner, opplæring, praksis etc. Elektronisk gjennomføring, herunder forberedelser, digital kompetanse, motivasjon, tidsbruk etc. Etterarbeid og oppfølging, herunder bruk av resultater Det finnes en rekke forskjellige typer evalueringer. Dahler-Larsen (2012) skiller ulike former for brukerevaluering fra effektevaluering, hvor formålet med førstnevnte er å styrke brukermedvirkning eller vurdere tilfredshet, mens formålet med sistnevnte er å vurdere om en gitt innsats har ført til ønskede virkninger. Det foreliggende arbeidet plasserer seg ikke i noen av disse kategoriene, men nærmer seg evalueringsforskningens «søsterdisiplin», implementeringsforskningen, som tar for seg de organisatoriske, forvaltningsmessige og institusjonelle forholdene som kan fortelle om hvordan intensjonene bak overordnede politiske beslutninger blir besvart med praksis (ibid.: ). Denne praksisen analyserer vi som tre hovedtema: Informasjon, veiledning og kontroll Forberedelse og gjennomføring av prøvene Bruken av resultatene fra prøvene 1.2 Operasjonalisering til analyse De første PISA-målingene 2 utført i Norge viste i 2001 at norske elever hadde ferdigheter i blant annet lesing og regning som lå under gjennomsnittet i OECD-landene (Holst: 2008). Ifølge NOU 2002: 10 Førsteklasses fra første klasse, som la grunnlaget for det nasjonale kvalitetsvurderingssystemet, er det læringsutbyttet som skal ligge til grunn for definisjonen av kvalitet i opplæringen, og dialog med brukerne forutsetter åpenhet om resultatene. 3 Nasjonale prøver som et ledd i et nasjonalt system for kvalitetsvurdering ble deretter innført i forkant av den første fasen av styringsreformen Kunnskapsløftet i 2004 (Elstad 2009: 174). Elementer i styringsreformen er større grad av desentralisering og autonomi for den lokale utdanningsforvaltningen med motsvar i ansvarliggjøring, rapportering og kontroll av resultater (ibid.). Denne omleggingen av styringen av skolesystemet fulgte i kjølvannet av større endringer i kommunesektoren, som resulterte i ny lov om kommuner i Gjennom dette har den kommunale forvaltningen fått preg av mål- og resultatstyring i tråd med prinsippene for New Public Management. Denne styringsfilosofien for offentlig forvaltning henter sin inspirasjon fra privat sektor, og kjennetegnes av fristilling av underliggende enheter, produktkontroll, delegering av ansvar samt økt konkurranse med henblikk på å fremme prestasjoner. Ledelse skal i tråd med New Public Magement være profesjonell, aktiv, synlig og kontrollerende, samtidig som underliggende organer får frihet til å utvikle virkemidler for å nå målsettinger som er fastlagt på overordnet nivå (Christensen og Lægreid 2001). Gjennom slike omlegginger i kommunal sektor omtales skolen som virksomheten eller resultatenheten, rektor som virksomhetsleder eller skoleleder og elever og foresatte som brukere Informasjon, veiledning og kontroll Nasjonale prøver, som et element i systemet for nasjonal kvalitetsvurdering, inngår slik i den formelle organiseringen av det sentrale og det desentraliserte utdanningssystemet. Gjennom det statlige 2 PISA: Programme for International Student Assessment i regi av OECD 3 For en gjennomgang av politiske dokumenter som la grunnlag for det nasjonale kvalitetsvurderingssystemet som del av Kunnskapsløftet, se Aasen m.fl. (2012) Kunnskapsløftet som styringsreform et løft eller et løfte? Forvaltningsnivåenes og institusjonenes rolle i implementeringen av reformen. NIFU-rapport 20/2012. Oslo: NIFU. 4 Lov om kommuner og fylkeskommuner (kommuneloven), LOV Url: html (lesedato: 28. januar 2013). 16

19 rammeverket, retningslinjene og veiledningene beskrives formaliserte regler for gjennomføringen av prøvene og bruken av resultatene. Regelverket representerer metoder for koordinering og kontroll av aktørene. Systemer for kvalitetsvurdering må ifølge Møller og Ottesen (2010) sørge for at skolen får riktig mengde informasjon, at skolen har kompetanse til å fortolke informasjonen og evne til å fokusere hva som er mest egnet for å utvikle egen undervisning og læring (ibid.: 36). I vårt arbeid dreier dette seg om informasjon og veiledninger fra de nasjonale utdanningsmyndighetene. Disse veiledningene og analyseverktøyene er nye fra høsten I denne rapporten undersøker vi oppdragsgivers kunnskapsinteresse som vedrører informasjon, veiledning og kontroll ved å stille og besvare følgende spørsmål: 1. Hva slags kanaler benyttes mellom alle leddene i systemet for å informere om nasjonale prøver, og hva er hovedinnholdet i denne informasjonen? Med dette spørsmålet har vi undersøkt informasjonsarbeidet som foregår på alle nivåer i det sentrale og lokale utdanningsbyråkratiet samt i skolene, for å kartlegge hvilke ulike informasjonskanaler som er i bruk, hvilken målgruppe informasjonen er tiltenkt samt tidsaspektet (når informasjonen blir sendt ut). Når det gjelder innholdet av informasjonen, har vi sett nærmere på hvordan tekst eventuelt suppleres, utvides, omformuleres eller forenkles fra styringsdokumenter og ned i de enkelte veiledninger. 2. Hvordan foregår veiledningen mellom alle leddene i systemet for å øke kunnskapen og kompetansenivået om nasjonale prøver, og i hvilken grad er denne veiledningen formalisert? Det administrative systemet for de nasjonale prøvene er i stor grad digitalisert. For at nasjonale prøver skal kunne gjennomføres på lik måte over hele landet, er også systemet preget av standardiseringer og regelverk. Med dette spørsmålet har vi undersøkt hvordan det arbeides formelt med veiledning om nasjonale prøver på de ulike nivåene i sentral og lokal utdanningsforvaltning, samt internt på den enkelte skole. Hvordan sikrer skoleeier, skoleleder og lærere den digitale kompetansen som kreves for å administrere og gjennomføre prøvene? Hvilke veilednings- og opplæringsmuligheter og -tilbud finnes på de ulike nivåene for å sikre at de aktuelle aktørene oppnår den nødvendige kompetansen og i rett tid? 3. Hvilke kontrollrutiner er etablert mellom nivåene i forberedelsen, gjennomføringen og etterarbeidet med nasjonale prøver, og hvordan følges kontrollen opp på de ulike nivåene? Som nevnt er systemet for nasjonale prøver preget av standardisering og regelverk. Med slik regelstyring følger også behov for kontroll, slik at ikke avvik fra regelverket skaper forstyrrelser i resultatet. Vi har her konsentrert oss om skoleeiernivå og skolenivå i det å melde elever på prøver, forvaltning av fritaksregler og kontroll av elevstatus etter at prøvene er gjennomført Forberedelse og gjennomføring av prøvene Til en viss grad, skriver Jorunn Møller og Eli Ottesen (2010: 35), har kvalitetsvurderingssystemet til hensikt å påvirke interne handlinger hos skoleeier og skoler gjennom ekstern kontroll. Studier av implementering har imidlertid vist at det finnes begrensninger når det gjelder kvalitetsvurderingssystemenes mulighet til å oppnå slike målsettinger (ibid.). Dette kan uttrykkes som at ulike forvaltningsområder iverksetter virkemidlene på ulike måter, tilpasset den administrative hverdagen. Målstyring har derfor vist seg vanskelig å innføre som styringsteknikk, fordi den ikke lar seg anvende på lik måte på tvers av offentlige organer (Christensen og Lægreid 2001). Stortingsvedtaket om innføringen av nasjonale prøver var enstemmig. Det har likevel vært politisk debatt om presentasjonen, tilgjengeligheten og bruken av resultatene fra prøvene (Utdanningsdirektoratet 2011). Her handler det om virkninger av konkurransen skapt av økt tilgang på informasjon om elevenes resultater i utdanningssystemet, og det ansvar kommuner, skoleledere og 17

20 lærere har for å forbedre disse resultatene. Etter svake resultater og negativ omtale i media har det vært hevdet at skoler driver teaching to the test, eller driller elever i oppgavetyper og prøveform for å forbedre skolens resultater og dermed unngå negativ oppmerksomhet (Elstad 2009). Dette er påstanden og hovedargumentet i debattboken Kunnskapsbløffen av Magnus Marsdal (2011). Dersom lærere får økt arbeidsmengde som følge av omlegginger av skolen, kan dette påvirke lærerens faglige og profesjonelle identitet, som underbygger jobbtilfredshet og effektivitet (Day 2002). Hvis arbeidsmengde fører til at lærerne har mindre tid til elevene, kan det resultere i at de mister motivasjon og øker innsatsen i å drille elevene i stoff som de vet vil være utslagsgivende for resultatmåling (ibid.: ). Eyvind Elstad (2009) utdyper hvordan skoler som på bakgrunn av resultatene fra nasjonale prøver blir utsatt for negativ omtale i media, kan ende med å velge vidt forskjellige strategier for endring. Han viser hvordan skoler kan gå inn i endringsprosesser initiert av eksternt press fra skoleeier, eller hvordan interne normer på den enkelte skole kan føre til samling i bånn, som tar form av enten teaching to the test med kortsiktige og kortvarige resultater eller mer gjennomgripende endringer av grunnlaget for undervisningen. Dette utelukker ikke at endringene kan ha positive og varige effekter for elevenes grunnleggende ferdigheter. For å forklare slike vridninger kan det vises til samhandlingen og påvirkningen som foregår mellom individer som aktører og systemene som aktørene inngår i. Dette forholdet står sentralt i samfunnsvitenskapene (Engelstad, Grenness, Kalleberg og Malnes 2005). Systemene kan fremtre både som formelle strukturer eller organisasjoner, eller som mer uformelle sosiale institusjoner som styrer samhandlingen mellom aktørene. I samfunnsvitenskapelig faghistorie er beskrivelsene av størrelser som individ og institusjon kjennetegnet av teorimangfold. Når forholdet mellom individer og systemer de inngår i beskrives som organisasjoner, vektlegges gjerne strukturene som et resultat av rasjonelle hensikter (ibid.: 262). I den formelle organisasjonen representert ved statlige og kommunale utdanningsmyndigheter vil det slik være foreskrevet bestemte oppgaver som skal utføres på bestemte måter med ditto hensikter og på grunnlag av avgrensede ressurser. Årsaken til ulik praksis kan derfor ligge nettopp i integrasjonen mellom individene og organisasjonen som setter rammene for virksomheten, det vil si at personene som fyller rollene i organisasjonen preges av forskjellige forventninger, motivasjoner, ønsker og krav (Engelstad m.fl. 2005). Møller og Ottesen (2010) beskriver dette som at selv om initiering av nye tiltak bygger på byråkrati og regler, finnes det normer som har fått utvikle seg på enhver arbeidsplass, og som kan stå sterkere enn reglene. Spørsmålet, skriver Møller og Ottesen, er dermed hvordan nye tiltak er konsistente eller bryter med indre normer i den lokale organisasjonen som kommunen eller skolen representerer. Dessuten peker de på bruken av informasjon innad i systemene, og mener at informasjonsarbeidet er helt sentralt for hva slags effekt tiltak som kvalitetsvurdering får i skolen. Disse forskerne påpeker også kompleksiteten i det systemet som skolen representerer, og at slik kompleksitet kan føre til at kausalitet blir sirkulær dersom det mangler informasjon eller hensiktsmessige forklaringsmodeller. I denne evalueringen belyser vi oppdragsgivers kunnskapsinteresser i forberedelse og gjennomføring av prøvene ved å stille to følgende delspørsmål: 4. Hvordan arbeider skoler med å forberede elever til prøver? Overdreven øving til prøvene (såkalt drilling ) kan fortrenge eller forskyve annet kunnskapsstoff fra undervisningen. Tidligere prøver og annet materiell som kan brukes for å forberede elevene til selve prøvene er tilgjengelig for skolene, og kan inngå både i informasjonsarbeid myntet på elever og/eller foresatte samt informasjons- og veiledningsarbeid rettet mot skoleeiere, skoleledere og lærere. Vi har sett nærmere på hvordan dette materiellet brukes, og om det eventuelt suppleres fra skoleeier- eller skolenivå. 5. Hvordan arbeider skolene med gjennomføringen av prøvene? 18

21 Selve gjennomføringen av prøvene varierer noe med ferdighetene som elevene skal testes i. Det nasjonale regelverket angir prøveform (papir eller digitalt), praktiske forhold rundt selve gjennomføringen (bruk av hjelpemidler, tilrettelegging) samt tidsrammer for selve prøven. I vårt arbeid har vi blant annet observert klasser på 5. årstrinn under nasjonale prøver for å undersøke hvordan skolenivået oppfatter og praktiserer dette regelverket. Her handler det også om skolenes erfaringer med hvordan gjennomføringen arter seg forskjellig ved papirbasert eller digital prøveform, i hvilken grad elevenes digitale kompetanse utfordrer eller styrker selve prøvegjennomføringen og hva slags betydning den pålagte tidsrammen for prøvene (60 eller 90 minutter) kan sies å ha for gjennomføringen av prøvene. Gjennom observasjonene samt intervju med elever på 8. årstrinn og foresatte har vi også søkt å finne ut mer om hvordan elever opplever prøvesituasjonen Bruken av resultatene fra nasjonale prøver Ingrid Helgøy (2003) spurte tidlig hva som skjer med skolen som pedagogisk institusjon når den integreres i andre kommunale og statlige styrings- og forvaltningsmodeller. Det samme spørsmålet har siden opptatt forskere som har hatt befatning med nasjonale prøver. Systemene for kvalitetsmåling innebærer en betydelig endring i måten å styre skolen på, fra innhold og planlegging til evaluering og resultater, skriver Kari Bachmann, Kirsten Sivesind og Randi Bergem (2008). Hva slags oppfølging skolene får, og hva slags krav som stilles i lys av økt ansvarliggjøring for elevresultatene, varierer fra kommune til kommune, skriver Guri Skedsmo (2011: 77). På den ene siden skal prøvene bidra til lokale og nasjonale beslutninger i utdanningspolitikken, fremholder Skedsmo, og på den andre siden skal prøvene gi informasjon til lærere, elever og foreldre om hvordan elevenes læringsarbeid kan utvikles. Disse målsettingene skiller ikke mellom informasjonsbehovene til den enkelte elev og informasjonsgrunnlaget som trengs for å utvikle systemet, hevder hun (ibid.: 2011). Hun mener at det administrative systemet retter seg mer mot å bruke vurderingsverktøy for å utvikle systemet, og at det i mindre grad handler om å hjelpe den enkelte elev til å utvikle seg videre (ibid.: 87). Selv om skoler opplever avvik mellom elevenes resultater og det som er satt som mål for gode resultater, skriver Møller og Ottesen (2010), er det ikke sikkert at dette fører til handling på skolens vegne. Her vil igjen organisasjonsinterne normer og tilgjengelig informasjon ha relevans. Skedsmo (2011) mener at analyseverktøy for kvalitetsvurdering må utfylles av prosesser for tilbakemelding og støtte til lærerne, og at bruken av verktøyene er avhengig av at skoleledere og lærere har kompetanse til å omsette informasjonen om læringsresultater til konkrete tiltak for videre læring og utvikling (ibid. 90). Med det nye analyseverktøyet som Utdanningsdirektoratet har utviklet og tatt i bruk fra høsten 2012, skal lærerne få et dypere innblikk i måling av resultatene, vurdering og analyse. Videreutvikling av analyseverktøy skal også bidra til at lærerne i større grad kan omsette informasjon om læringsresultater til tiltak som skal føre til bedre læringsresultater på gruppe- og individnivå. Spørsmål som denne rapporten søker å belyse empirisk, er hvorvidt disse verktøyene er blitt tatt i bruk i skolen, og om de virker i tråd med hensikten. I analysen handler dette om hvordan lærerne snakker om og begrunner sine erfaringer med nasjonale prøver. I en analyse av læreres oppfatninger og holdninger til å få undervisningen vurdert, skiller forfatterne mellom tre perspektiver som lærerne bruker for å begrunne og utdype sitt ståsted (Garmannslund, Elstad og Langfeldt 2008). Dette handler om 1) hierarkisk ansvarliggjøring, 2) profesjonell ansvarlighet og 3) brukermedvirkning. Ved hierarkisk ansvarliggjøring har lærerne en todelt tilnærming, som dels dreier seg om økt arbeidsmengde og oppfatninger om at tester ikke vil fange opp bredden i lærernes arbeid. På den andre siden kan tester ifølge dette perspektivet hos lærerne bidra til å avdekke svakheter ved undervisningen på skolen, forutsatt at lærerne følges opp og får tilbakemelding. Testen må ifølge lærerne ikke bare bli en byråkratisk kontroll. Heri ligger ifølge lærerne også risikoen for at noen vil pynte på resultater. Profesjonell ansvarlighet legger vekten på lærerkollegiet som utøvere av en yrkesrolle, og forutsetter erfaringsutveksling mellom lærere basert på resultater fra prøvene. Det vil likevel være et spørsmål hvorvidt lærerkollegiet har tid og kapasitet til å diskutere resultatene, og i hvilken grad dette er et samarbeid mellom lærerkollegiet og skoleledelsen. Brukermedvirkningsperspektivet på nasjonale prøver innebærer en myndiggjøring av elever, foreldre og politikere. I denne 19

22 rapporten vil disse perspektivene legge grunnlag for en kategorisering og drøfting av læreres erfaringer med nasjonale prøver. I denne rapporten belyser vi oppdragsgivers kunnskapsinteresse som angår bruken av resultatene ved å spørre: 6. Hvordan brukes resultatene fra prøvene? Med dette spørsmålet har vi gått dypere inn i hva slags arbeid som gjøres ved skolene mellom skoleleder og lærere, internt i lærerkollegiet, i møte mellom lærere og elever og mellom skolen og elevens foresatte for å utvikle elevenes læringsarbeid på bakgrunn av resultatene fra nasjonale prøver. Til sist har vi, med fokus på skoleeiernivået, undersøkt hvordan dette nivået bruker de samlede resultatene fra skolene for å utvikle og forbedre den kommunale styringen av grunnskolen. De temaene som her reises, gjør det naturlig for oss som forskere å oppsummere resultatene fra evalueringen i to nye delspørsmål, som blir gjenstand for diskusjon i rapportens siste kapittel. 7. Hvilken funksjon har prøvene som skolepolitisk styringsverktøy og ansvarliggjøring av skoler og skoleeiere? 8. Hvilken funksjon har prøvene som pedagogisk verktøy og utvikling av elevenes skoleresultater? I evaluering sikter vi derfor avslutningsvis mot å drøfte forholdet mellom de nasjonale prøvene som et administrativt verktøy for nasjonale utdanningsmyndigheter, skoleeier og skoleleder og de nasjonale prøvene som redskap for lærerne, elevene og deres foresatte i det pedagogiske utviklingsarbeidet. I rapporten som helhet ser vi nærmere på hvordan de ulike nivåene i styringskjeden forholder seg til disse målsettingene, og hvilke uttrykk dette får i administrasjon og gjennomføring av prøvene. 1.3 Avgrensning av arbeidet og oppbygningen av rapporten Nasjonale prøver ble først gjennomført i perioden før kritikk fra skolen og lærerorganisasjonene, politikere og forskningsmiljø rettet mot oppgaveformulering, gjennomføring av prøvene og offentliggjøring av resultatene bidro til en midlertidig stans i prøveregimet. Prøvene ble evaluert, revidert og deretter relansert høsten 2007 med grunnlag i et nytt rammeverk for utforming og kvalitetskontroll av prøvene samt rollefordeling som gjelder de ulike aktørene som er involvert i administrasjonen og gjennomføring av nasjonale prøver. Vår evaluering skal ifølge oppdraget ta utgangspunkt i prøvene slik de foreligger etter Evalueringen omfatter ikke prøvenes faglige innhold, og den skal heller ikke omfatte de rent tekniske aspektene ved det elektroniske systemet for administrasjon og gjennomføring av prøvene. Dette systemet har vært under videreutvikling mens vår evaluering foregikk, og dette har skjedd i et samarbeid mellom Utdanningsdirektoratet og de ulike brukergruppene. Vårt utgangspunkt for den foreliggende evalueringen har derfor vært Rammeverket for nasjonale prøver (Utdanningsdirektoratet 2010) og de mål, oppgaver og ansvar som dette dokumentet styrer. Vi gir en nærmere beskrivelse av Rammeverket og de øvrige styrings- og veiledningsdokumentene for nasjonale prøver i kapittel Hovedfunn fra analysen I kapittel 2 i denne rapporten gjør vi rede for hovedtrekk ved utvalg og metode. I kapittel 3 tar vi for oss det statlige nivået med henblikk på dokumenter som regulerer administrasjonen og gjennomføringen av nasjonale prøver samt dokumenter som veileder i forberedelser, gjennomføring og bruk av resultatene fra nasjonale prøver. Vi har brukt kvalitativ dokumentanalyse og intervjuer for å presentere og tolke hovedinnholdet i dokumentene. I rammen nedenfor gjengir vi delfunn og hovedfunn fra analysen i kapittel 3. 20

23 Hovedpunkter i kapittel 3 Kvalitative delfunn Nasjonale prøver er primært utformet for å gi styringsinformasjon, sekundært for å gi lærerne et arbeidsredskap i å utvikle elevenes læringsarbeid. Fritaksreglene gir rom for lokale vurderinger innenfor gitte rammer. Skolene oppfordres til å forberede elevene til prøvene. Reglene for påmelding av elever til prøvene er presisert. Hovedfunn i kapittel 3 Retningslinjene gir rom for en viss grad av lokalt skjønn som kan skape variasjon mellom skoler og kommuner. Veiledningene til lærerne kommuniserer i liten grad prioriteringen mellom prøvenes to formål. I kapittel 4 tar vi for oss skoleeiernivået og dette nivåets befatning med nasjonale prøver. Viktige punkter i dette kapittelet dreier seg om skoleeiernivåets informasjon til skolene samt kontroll av at skolene følger regelverket. Analysen i dette kapittelet bygger i sin helhet på spørsmål som inngikk i Utdanningsdirektoratets spørsmål til Skole-Norge høsten 2012, hvor våre spørsmålsbatterier var utformet spesielt for den foreliggende evalueringen av nasjonale prøver. I rammen nedenfor gjengir vi delfunn og hovedfunn fra analysen i kapittel 4. Hovedpunkter i kapittel 4 Kvantitative delfunn De aller fleste kommuner bruker styringsdialogen mellom skoleeier og skoleledere for å informere og veilede om nasjonale prøver. De viktigste punktene i informasjonen fra skoleeier gjelder hensikten med nasjonale prøver, råd om bruk av prøveresultatene og forvaltning av fritaksbestemmelsene. Under en tredjedel av kommunene kontrollerer at skolene har fulgt fritaksreglene. Kvantitative hovedfunn Et hovedinntrykk er at kommunene i større grad følger opp plikten til å minne skolene om deres oppgaver og å gi og videreformidle informasjon, enn å veilede skolene og å kontrollere deres arbeid. De største kommunene følger opp arbeidet med de nasjonale prøvene i betydelig større grad enn de minste, og det gjelder særlig de delene av arbeidet som vi kaller veiledning og kontroll. Det går et geografisk skille mellom Østlandet på den ene siden, og særlig hovedstadsområdet, og resten av landet på den andre når det gjelder engasjement og vurdering av prøveresultatenes viktighet. I kapittel 5 tar vi for oss skoleeiernivået. Hovedkilden til dette kapittelet er også Utdanningsdirektoratets spørsmål til Skole-Norge høsten 2012, med spørsmålsbatteri utformet spesielt for den foreliggende evalueringen av nasjonale prøver. De kvantitative dataene er utfylt med intervjuer med skoleledere på i alt tre barneskoler og tre ungdomsskoler, fordelt på fire ulike kommuner. I kapittelet kombinerer vi med andre ord kvantitative og kvalitative kilder, og i rammen nedenfor viser vi hvordan disse metodene bidrar med delfunn som utfyller og underbygger hverandre. 21

24 Hovedpunkter i kapittel 5 Kvantitative delfunn Øving til nasjonale prøver har i hovedsak karakter av å gjøre elevene kjent med prøveform og oppgavetyper, men repetisjon av fagstoff forekommer også. Forberedelser av elevene forekommer i større grad på mellomtrinnet enn på ungdomstrinnet. Skoler som øver bruker i stor utstrekning Utdanningsdirektoratets øvingsmateriale. Slik sett kan øving tolkes som å være i tråd med Direktoratets ønsker og råd. Det rapporteres om tilfeller av at annen undervisning settes til side til fordel for forberedelser til prøvene. Skolene bestemmer selv over tidsbruken til forberedelser. Det er ikke funnet holdepunkter for at det finner sted en vridning av undervisningspraksis ved skolene for å forbedre resultatene. Fritaksreglene er godt kjent blant skolelederne og de aller fleste mener de er klare og entydige. Skoleledere i små og mellomstore kommuner har i noen grad behov for veiledning om reglene. Skoler med få elever som har enkeltvedtak om spesialundervisning eller særskilt språkopplæring kan oppleve fritaksreglene som svært strenge, for eksempel i forhold til elever med dysleksi og som ikke har enkeltvedtak. 60 prosent av skolelederne mener nasjonale prøver har gitt dem et godt redskap til å utvikle skolen. To av tre mener lærerne har fått et godt redskap gjennom prøvene. Opplevelsen av prøvenes nytte er særlig høy i Oslo og høyere ved store skoler enn ved små. Kvalitative delfunn Samtaler med skoleledere bekrefter at forberedelser til nasjonale prøver inngår i skolens øvrige planer for å styrke grunnleggende ferdigheter. Å gjøre elevene trygge i prøvesituasjonen er særlig viktig på mellomtrinnet. Skoleledere forteller at de har som mål at flest mulig av elevene gjennomfører prøvene. Det rapporteres også om skoleeiere som setter prestisje i ikke å ha fritak. I den grad fritaksreglene oppfattes som problematiske, gir skoleledere uttrykk for at de kan gi en praksis som kanskje er for streng. Noen hadde egentlig ønsket å frita flere elever som har dårlige forutsetninger for å gjennomføre prøvene, men kan ikke når elevene ikke på forhånd omfattes av enkeltvedtak. Skoleledere er bekymret for at offentliggjøring av dårlige resultater i media kan oppleves som belastende både av lærere, elever og foresatte og gi et uriktig bilde av skolen. Metodekombinasjon: hovedfunn Arbeidet med de nasjonale prøvene synes å ha blitt en integrert del av arbeidet for å styrke elevenes grunnleggende ferdigheter ved de fleste skoler. Det kan synes som om skolelederne i større grad vurderer prøvene som et verktøy for å kartlegge elevene enn som et verktøy for å vurdere kvaliteten på skolens arbeid. Selv om fritaksreglene oppfattes som klare og entydige, kan praktiseringen av dem oppleves som problematisk. Dette kan henge sammen med at 22

25 vurdering av fritak kobles til om eleven på forhånd har enkeltvedtak om spesialundervisning eller særskilt språkopplæring. Ulik praksis i forhold til enkeltvedtak gir seg dermed utslag i hvordan fritaksreglene kan praktiseres. Skolelederne synes å ha fått et eierskap til prøvene og bruker resultatene i større utstrekning og med større effekt enn skoleeierne. Samtidig er de kritiske til offentliggjøring av resultater og rangering av skoler i media. I kapittel 6 i denne rapporten tar vi for oss lærernes synspunkter og holdninger til nasjonale prøver. Materialet som dette kapittelet bygger på, er en survey utviklet av NIFU spesielt til evalueringen av nasjonale prøver. Detaljer om utvalg, representativitet og svarprosent presenteres i kapittel 2 og er utfyllende omtalt i vedlegg i denne rapporten. Data fra lærersurveyen er i kapittel 6 delvis utfylt, delvis underbygget med kvalitative data fra intervjuer med lærere på de tre barneskolene og de tre ungdomsskolene som inngår i den kvalitative delen av vår studie. Kvantitative delfunn, kvalitative delfunn og hovedfunn som har fremkommet ved metodekombinasjon fremgår av rammen nedenfor. Hovedpunkter i kapittel 6 Kvantitative delfunn Det er vanlig å øve til nasjonale prøver, de fleste skoler gjør det og det er vanligere på mellomtrinnet enn på ungdomstrinnet. I øvingen brukes primært Utdanningsdirektoratets øvingsmateriale. En av fire lærere rapporterer at annen undervisning settes til side til fordel for forberedelser til prøvene, samtidig som lærerne gir uttrykk for at de selv bestemmer over tidsbruken til forberedelser. En av fire lærere sier at skolen ikke har godt nok utstyr til å gjennomføre de digitale prøvene, og halvparten rapporterer om at det er tekniske problemer under prøvene. Lærerne på mellomtrinnet ser nasjonale prøver som et godt redskap i større grad enn lærerne på ungdomstrinnet. Kvalitative delfunn Lærerne på mellomtrinnet gir uttrykk for at det er viktig å gjøre elevene trygge i prøvesituasjonen, og at dette særlig gjelder elever som strever med skolen. Lærerne uttrykker frustrasjon over at de får ut lite informasjon fra prøvene i oppfølgingen av elevene i etterkant av prøvene. Metodekombinasjon: hovedfunn Selv om de fleste skoler øver til nasjonale prøver, er det ikke snakk om drilling, men snarere å gjøre elevene kjent med prøven. Øving er vanligere på mellomtrinnet enn på ungdomstrinnet, der elevene også er mer vant til ulike former for prøver. Lærerne er frustrert over at det er lite informasjon som kommer ut av prøvene, at de i liten grad kan bruke prøvene for å gi tilbakemeldinger til elevene. Denne frustrasjonen er større blant lærere på mellomtrinnet enn på ungdomstrinnet. I kapittel 7 i denne rapporten tar vi for oss elevnivået og hvilke erfaringer dette nivået har med nasjonale prøver. Kapittelet bygger i sin helhet på analyser av kvalitativt materiale, først og fremst observasjoner av gjennomføring av nasjonale prøver i lesing og regning på de tre barneskolene, og på gruppeintervjuer med elever på 8. trinn på de tre ungdomsskolene som inngår i den kvalitative delen av studien vår. Data fra elevnivået er utfylt og delvis underbygget med intervjuer med skoleledere og lærere på de samme skolene. Delfunn og hovedfunn fra kapittel 7 er gjengitt i rammen nedenfor: 23

26 Hovedpunkter i kapittel 7 Kvalitative delfunn Elever på 8. trinn sier at prøvene ikke måler dem som individer, men at prøvene måler nivået på trinnet, skolen eller lærerens ferdigheter og egenskaper. Når prøven ikke måler elevene som individer, er det ifølge elevene heller ikke nødvendig å forberede seg eller grue seg. Dette kan imidlertid gjøre elevene dårlig motiverte for prøven. Avslutningen av prøvene er preget av løs struktur. Elever kan få drive med «pauseaktiviteter» som er mer fristende enn å jobbe med prøven. Elever på ungdomstrinnet etterlyser klarere tilbakemeldinger om hva de kan jobbe mer med når resultatene fra prøvene foreligger. Lærerne synes prøvene er dårlig egnet til dette formålet. Hovedfunn i kapittel 7 Måten lærere omtaler prøven på, kan ha betydning for elevenes opplevelse av prøven. Hvis lærere er bekymret, kan elever grue seg til prøven. Hvis lærere mener at prøven har liten verdi for elevenes videre læring, kan elevene miste motivasjon for å prestere godt på prøven. Det legges mer arbeid i forberedelsen av prøvene på barneskolene enn på ungdomsskolene. I kapittel 8 har vi i samråd med oppdragsgiver gjort en særlig analyse av hvordan resultater fra nasjonale prøver genereres og presenteres for den enkelte skole, for skoleeier, utdanningsmyndighetene og offentligheten for øvrig. Gjennom arbeidet med materialet i denne evalueringen har vi sett at et problematisk aspekt ved bruk av resultater fra nasjonale prøver, spesielt på skoleeiernivå og når resultater offentliggjøres, er at det er svært grove forenklinger av fingraderte prøveresultater som brukes når resultatene offentliggjøres. Prøveresultatene inneholder imidlertid et stort potensial som indikator på læringsutbytte dersom de i stedet ble brukt, eventuelt i en standardisert form, noe som er gjort i et aktuelt forskningsprosjekt ved NIFU (Opheim, Grøgaard og Næss 2010:52; Grøgaard 2012:27). Kapittel 8 bygger på analyse av data i Utdanningsdirektoratets nettportal skoleporten.no, og skiller seg dermed fra datagrunnlaget i de øvrige kapitlene. I dette kapittelet har vi også etter ønske fra oppdragsgiver gitt konkrete anbefalinger til endring av praksis. Funn og anbefalinger fra kapittel 8 gjengis i rammen nedenfor. 24

27 Hovedpunkter i kapittel 8 Kvantitative funn Forenklingen av prøveresultatene i form av gjennomsnittsverdier kan gi misvisende tall, spesielt for små skoler og kommuner. «Skoleporten» gjengir ikke de faktiske feilmarginene for gjennomsnittsverdiene som presenteres. Flertallet av skolene og nærmere halvparten av kommunene har så få elever at resultatene i «Skoleporten» blir av liten verdi. Dette fordi gjennomsnittstall basert på få elever er beheftet med stor statistisk usikkerhet. Kvalitative funn Veiledningen for bruk av resultater i «Skoleporten» presiserer at det er usikkerhet knyttet til resultatene og advarer mot for vidtgående tolkninger. Veiledningen åpner for sammenlikninger mellom kommuner og fylker, men advarer mot sammenlikninger mellom skoler og over tid, uten at dette begrunnes på en overbevisende måte. Anbefalinger Gjennomsnittsverdier bør baseres på de faktiske prøveresultatene og kan eventuelt standardiseres slik at de blir sammenliknbare med resultater beregnet etter dagens metode. Alle gjennomsnittsverdier bør presenteres med statistisk feilmargin og antallet elever som ligger til grunn for tallene bør oppgis Til sist i denne rapporten, i kapittel 9, oppsummerer vi og diskuterer våre funn. Vi tar for oss data fra hvert nivå i administrasjon og gjennomføring av prøvene der vi besvarer våre delspørsmål 1-6 under de tre temaene a) informasjon, veiledning og kontroll, b) forberedelse og gjennomføring av prøvene samt c) bruken av resultatene fra prøvene. Deretter tar vi for oss delspørsmål 7 og 8 og søker å utdype hva evalueringen kan fortelle om prøvenes funksjon. Her skal vi gjengi hovedtrekk i diskusjonen i kapittel 9 under tre deloverskrifter som favner våre tre tema for analysen Informasjonen om prøvene er tilstrekkelig kontrollen er mangelfull Kvantitative og kvalitative funn tyder på at informasjonen mellom Utdanningsdirektoratet og skoleeiere samt skoler ser ut til å flyte fint, slik at de underliggende nivåene helt ned til lærernivå oppgir at de har tilstrekkelig informasjon for å kunne administrere og gjennomføre prøvene. Enkelte uklarheter finnes fremdeles i regelverket, og disse møter Utdanningsdirektoratet via telefonhenvendelser når prøvene skal gjennomføres på høsten. Direktoratet har med vilje gjort enkelte av formuleringene åpne, slik at lokalt skjønn og variasjon kan forekomme. Denne mangelen på sentralstyring tjener sannsynligvis den overordnede forvaltningen av prøvene godt, men gjennom intervjuer med skoleledere har vi sett at dette likevel kan skape noe forvirring og frustrasjon på det utøvende nivået, det vil si blant skoleledere som fortolkere av regelverket og lærere som forbereder og gjennomfører prøvene. I spørreundersøkelsene mener skolelederne at regelverket for fritak oppleves som klart og tydelig på skoleledernivået, men gjennom intervjuer har vi fått inntrykk av at det praktiseres strengt, og det kan være grunn til å spørre om det enkelte steder praktiseres for strengt. Fritak forutsetter at elevene som skal vurderes, har et forutgående enkeltvedtak om spesialundervisning eller rett til særskilt opplæring i norsk. Hvis ikke slike vedtak foreligger, må eleven gjennomføre prøven. Her forteller intervjuede lærere på mellomtrinnet at de strever med tilrettelegging og delvis trøsting og motivasjon av elever som kanskje egentlig er for svakt presterende til å kunne ha noe utbytte av prøven. Det kvantitative materialet forteller at skolenes og lærernes behov for veiledning i stor grad svarer til informasjonsbehovet, som de opplever at de får dekket. Imidlertid ser det ut til at skolene i større grad 25

28 kunne rettet sine henvendelser til skoleeiernivået eller om mulig til fylkesmannens utdanningsavdeling for å avklare enklere spørsmål med hensyn til regelverk og gjennomføring. Vi har gjennom spørreundersøkelsen til skoleeiernivået sett at mange kommuner har et aktivt forhold til skolens forberedelser av nasjonale prøver, men dette gjelder ikke alle, og spesielt ikke blant de minste kommunene. Vi har av rapportene fra fylkesmennenes utdanningsavdelinger til Utdanningsdirektoratet også sett at det er store forskjeller mellom fylkesmennene i hvorvidt de har formalisert sin kontakt med skoleeiere i forberedelsen, gjennomføringen og bruken av resultater fra nasjonale prøver. Dette, samt spørreundersøkelsen til skoleeierne, peker på et potensiale for å utvikle både skoleeiernivået og det regionale statlige nivået i å veilede, tilrettelegge, dyktiggjøre og kontrollere skolene i arbeidet med nasjonale prøver. Særlig med tanke på kontroll av påmelding, fritak og registrering av elevstatus finnes det mangler på skoleeiernivå. Enkelte skoleeiere og fylkesmannsembeter ser imidlertid ut til å følge dette arbeidet tett og grundig. I spørreundersøkelsen oppgir skolelederne at de oppfyller sitt informasjonsansvar overfor lærerne ved å vise til den nettbaserte informasjonen fra Utdanningsdirektoratet. Lærerne svarer i lærersurveyen at de i all hovedsak er fornøyd med dette. Kvalitative intervjuer viser at elevene får informasjon fra læreren om at prøvene ikke måler dem som individer, men skal skaffe frem informasjon på gruppenivå som inngår i analyser av hvordan skolen, kommunen eller også landet gjør det med tanke på grunnleggende ferdigheter. Elevene får imidlertid også vite fra læreren at prøvene skal sette læreren i stand til å gi den enkelte elev bedre tilpasset opplæring. I intervju sier elevene at de synes dette aspektet ved prøvene er dårlig oppfylt, noe som understøttes i intervju med lærerne Skolene lar elevene øve til nasjonale prøver noen skoler mer enn andre Gjennomgang av dokumenter og intervjuer med ledelse og rådgivernivå i Utdanningsdirektoratet fastslår at direktoratet tillater og oppfordrer til forberedelse av nasjonale prøver ved gjennomgang av eksempeloppgaver og gamle prøver på nett. Hensikten er å trygge elevene i prøvesituasjonen, noe også skolelederne og lærerne legger vekt på i spørreundersøkelsene så vel som gjennom intervjuene. I all hovedsak ser vi av dette materialet at skolene øver i tiden før prøvene, samtidig som mange skoleledere og lærere viser til at forberedelser til nasjonale prøver inngår naturlig i skolens vanlige undervisning gjennom hele året, som element i arbeidet med kompetansemålene. På den annen side er det et mindretall av skolelederne som i spørreundersøkelse oppgir at annen undervisning legges til side i forberedelsene av prøvene. Denne påstanden får noe støtte fra lærerne i lærersurveyen, og i kommentarfeltene til den samme surveyen har enkelte lærere skrevet at de opplever at arbeid med prøvene overskygger andre viktige aktiviteter på skolen, og at de synes det går for mye tid med til dette. Spørreundersøkelsene både til skoleleder og til lærernivå viser imidlertid at skolene selv, og først og fremst lærerne, bestemmer hvor mye tid som skal gå med til å forberede elevene til nasjonale prøver. Dette forhindrer ikke at det øves mye til prøvene der dette forekommer, men det motsier at skolene blir utsatt for press fra skoleeiernivået i øving til prøver. Et lite mindretall av skoleledere og lærere mener likevel i spørreundersøkelsene at skoleeier har innflytelse på hvor mye arbeid de skal legge ned i forberedelsene til prøver. Skolene har derfor tilsynelatende stor frihet til selv å bestemme innsatsen i nasjonale prøver, samtidig som styringsfilosofien New Public Management setter nettopp autonomi opp mot resultatkontroll, slik at skoler kan oppleve et press fra skoleeier om å levere gode resultater selv om de selv disponerer over innsatsfaktorene. Når lærerne svarer på spørreundersøkelsen, svarer imidlertid flertallet at de ikke synes at skolen bruker for mye tid på dette, og dessuten at de bruker like mye tid på alle elever i forberedelsene. De kvalitative dataene viser samtidig at skoler kan oppleve et behov for å gi ekstra forberedelse til elever som har svak måloppnåelse, men som ikke kan fritas fra prøvene. For disse elevene kan det forekomme at det skyves på annen undervisning. Fra lærere på mellomtrinnet får vi gjennom spørreundersøkelsen og intervjuer bekreftet at elever kan grue seg, og fra intervju med foresatte har vi fått høre at elever som ellers har lav grad av mestring, kan streve veldig og grue seg til prøvene. Intervjuer med lærerne viser på den annen side at mye av 26

29 forberedelsene på skolene tar sikte på å avdramatisere prøvene for elevene ved å trene dem på oppgaveform og prøvetype. Både fra kommentarfeltene og fra observasjoner og intervjuer på skoler har vi fått inntrykk av at det kan skje mye uforutsett i selve prøvesituasjonen. Noe skyldes svakheter ved skolenes datautstyr og nettilgang, som er skoleeierens ansvar. Andre ting skyldes lokalene ved skolen, organiseringen av klassen, elevenes kunnskapsnivå og trygghet i prøvesituasjonen eller lærerens forberedelse. Særlig ved avslutningen av prøvene har vi sett at det kan oppstå uro. Alt i alt kan det virke som om det kan oppstå store forskjeller i selve prøvesituasjonen på tvers av skoler, og kanskje også på tvers av klasser innenfor samme skole Skolelederne ser nytte av resultatene lærerne er avmålte Vi ser av spørreundersøkelsene at det store flertallet av skoleeierne mener at prøvene er viktige for deres utvikling av grunnskolen, selv om de minste kommunene er noe mer reservert enn de største. Mer enn halvparten av de spurte skolelederne mener at prøvene har gitt dem et godt redskap til å utvikle skolen, og i intervju har skoleledere sagt at de ønsker prøvene velkommen og mener at prøvene i seg selv er gode og at de måler det de skal. Lærerne på sin side er noe mer tilbakeholdne, og svarer i spørreundersøkelsen helst «både/og» og «litt enig» på spørsmål om nasjonale prøver har gitt dem et godt redskap i arbeidet. Forskjellen mellom skoleledere og lærere i dette spørsmålet kan vise til at skoleledere i hovedsak forholder seg til den målings- og styringsinformasjon prøvene kan gi dem, mens lærerne kan være mindre opptatt av måling og styring og mer opptatt av hvilken nytte prøvene kan gi dem i utviklingen av læringsarbeidet i møte med den enkelte elev. Der mener mange lærere at prøvene kommer til kort. Lærerne befinner seg derfor midt i spennet mellom prøvenes funksjon som ansvarliggjøring og styringsverktøy for skolemyndighetene lokalt og nasjonalt, og prøvene som et redskap i den pedagogiske utviklingen på den enkelte skole. Både det kvantitative og det kvalitative materialet tyder på at lærere som inngår i kollegier som arbeider med prøveresultatene i fellesskap, er mest tilfredse med uttellingen som prøvene kan gi dem i det daglige arbeidet. Lærere som på den andre siden opplever å være alene med prøveresultatene på skolen, ser færrest muligheter til å bruke resultatene videre. I kommentarfeltet i spørreundersøkelsen til lærerne var det flere som mente at det nye veiledningsmaterialet var nyttig og bra. I intervjuene var det enkelte lærere som sa at de ble overveldet av informasjonsmengden det nye veiledningsmateriellet representerte, og sa at de ikke hadde tid til å sette seg inn i dette i tillegg til all informasjonen som var nødvendig for at de skulle kunne gjennomføre prøvene. Lærere som vi snakket med, sa generelt at de kunne bruke resultatene og veiledningsmateriellet til å gi tilbakemelding til elevene om hvilket mestringsnivå de lå på, men at de ikke hadde tid eller kompetanse til å gå inn på hver enkelt elevs resultater og fortelle hvordan vedkommende elev burde jobbe videre fremover. Dette gjorde lærerne frustrerte. Norsklærerne mente i intervjuene at de hadde de beste materielle forutsetningene for å gjøre en slik jobb, men at tiden ikke strakk til. Flere engelsklærere mente i intervjuene at de hadde små materielle eller praktiske forutsetninger for å gi elevene noen som helst oppfølging av prøveresultatene, ut over å angi elevens mestringsnivå. I møte med lærere som er misfornøyde med nasjonale prøver, har det likevel slått oss at disse lærerne kan være tilfredse med andre kartleggingsverktøy som skolen bruker, eller sier at det er nyttig å gjennomføre nasjonale prøver på 9. trinn fordi det da er mulig å måle utvikling fra elevene begynte på 8. trinn. Kartlegginger som element i det nasjonale systemet for kvalitetsvurdering ser dermed ut til å ha fått stor utbredelse og høste anerkjennelse blant lærere. Når lærere i intervju ser at de støtter at nasjonale prøver gjennomføres på 9. trinn, og at dette gir mulighet til å måle utvikling fra de samme elevene var på 8. trinn, forutsetter dette naturligvis at prøvene finnes og gjennomføres på to tidspunkter som gjør det mulig å vurdere utvikling. Slik blir støtten til nasjonale prøver faktisk indirekte hos disse lærerne, selv om de samtidig kan mene at prøven ikke gir dem ny informasjon som de kan bruke i møte med elevene. 27

30 Elevintervjuene reflekterer den informasjonen elevene har fått fra lærerne om nasjonale prøver, og elevene forteller at prøven ikke måler dem som individer. Likevel ønsker flere av disse elevene mer konkrete tilbakemeldinger etter prøvene om hvordan det gikk og hva de kan jobbe mer med i fremtiden. I dette gjenspeiles motsetningene i prøvenes todelte målsetting, hvor data som er samlet inn etter en design som skal gi myndighetene og skolelederne styringsinformasjon, ikke er egnet til å gi tilbakemeldinger om progresjon og endringsstrategier for enkeltindividene som har bidratt til resultatene. 1.5 Avslutning På dette grunnlaget kan vi si at det finnes et en uenighet om bruk av nasjonale prøver mellom lærere på den ene siden og skoleleder/skoleeier på den andre siden, sprunget ut av prøvenes todelte målsetting som styringsverktøy og pedagogisk redskap. Prøvenes funksjon som styringsverktøy står forholdsvis sterkt på skoleledernivå, men er svakere på skoleeiernivå og så godt som fraværende på lærernivå. Prøvenes funksjon som redskap til pedagogisk utvikling står også sterkt på skoleledernivå, men er svakere på skoleeiernivå og lærernivå. Samlet kan vi si at skolelederne kommer best ut av dette, idet de opplever at de kan bruke nasjonale prøver for å styre og utvikle skolen. Lærerne og små skoleeiere får på generelt grunnlag mindre utbytte av henholdsvis innsatsen de legger ned i selve prøven og resultatene som prøven gir. Dette utelukker likevel ikke at et overordnet fokus på kvalitet i opplæringen, som nasjonale prøver også er en del av, har styrket lærerne i deres allmenne innsats for forbedrede grunnleggende ferdigheter. Slik kan man si at nasjonale prøver har kommet mange av lærerne indirekte til gode, og styrket dem i det daglige arbeidet. Vår rapport tyder på at godt utbytte fra nasjonale prøver for de skoleeier, skoleledere, lærere, elever, foresatte og de nasjonale utdanningsmyndighetene fremmes av at kommunen har forholdsvis mange skoler/elever og et aktivt forhold til rollen som skoleeier, der lærerne på den enkelte skolen opplever å være del av et kollektiv som samarbeider med ledelsen om den pedagogiske utviklingen av skolen. Her kan prøvene ha stor betydning både for arbeidshverdagen og for hvordan skolen arbeider med å forbedre elevenes læringsresultater. Siden Skole-Norge viser stor variasjon i disse faktorene, vil følgelig også prøvenes bruk og betydning være forskjellig på tvers av skoler og kommuner. 28

31 2 Metode og data I arbeidet med evaluering av nasjonale prøver som system har vi benyttet oss av et design som kombinerer kvantitative og kvalitative metoder, og som dekker en rekke nivåer og målgrupper i analysen. Designet er egnet til å skaffe frem rike og nyanserte data som gjør det mulig å se enkelte fenomener fra mer enn en side (Repstad 2007). I enkelte deler av rapporten har vi brukt flere metoder og datakilder for å hente inn informasjon fra en målgruppe, som når vi analyserer skoleledernivået (kapittel 5) og lærernivået (kapittel 6) ved hjelp av både survey- og intervjudata. Med denne bakgrunnen i metodekombinasjon har vi laget en innledning til hvert kapittel som presenterer og analyserer empiri, hvor vi sammenfatter kvantitative og/eller kvalitative funn og gjør rede for hvordan vi mener at funn og metodekombinasjon underbygger eller forsterker hverandre. I hovedsak er de kvalitative dataene samlet inn for å utfylle og utdype forståelsen av vårt kvantitative materiale. Samtidig har vi brukt kvalitative dokumentanalyser som bakgrunn for utformingen av spørreskjema, og kvalitative analyser av intervjudata er brukt til å foreslå hypoteser som har kommet til anvendelse i det kvantitative materialet. Et eksempel på en slik hypotese generert av intervjudata er at det er forskjeller i hvordan barne- og ungdomsskoler forbereder og arbeider med prøvene. I dette kapittelet gjør vi rede for de metodologiske hovedtrekkene og utvalgene som våre undersøkelser bygger på. For detaljer om bakgrunnsvariabler ved utvalgene og utvalgenes representativitet viser vi til vedlegg i denne rapporten. 2.1 Forskningsdesign et overblikk I tabell 2.1 nedenfor gjengir vi hvilke datakilder vi har benyttet i evalueringen. 29

32 Tabell 2.1 Oversikt over målgrupper og datakilder i evaluering av nasjonale prøver som system Målgruppe Kvantitative data Kvalitative data Utdanningsdirektoratet Statistikk fra skoleporten.no Dokumenter, intervjuer Fylkesmennenes Dokumenter (rapporter) utdanningsavdelinger Skoleeiere (kommuner) Spørreundersøkelse (Spørsmål til Skole- Norge høsten 2012) Skoleledere Spørreundersøkelse (Spørsmål til Skole- Intervjuer Norge høsten 2012) Lærere Survey utarbeidet av NIFU Gruppeintervjuer Elever Observasjoner (5. trinn), gruppeintervjuer (8. trinn) Foresatte Gruppeintervjuer, e-post-enquête Metodekombinasjonen kan vi ytterligere illustrere som i figur 2.1 nedenfor. Her representeres kvalitative data med fargen gul, mens kvantitative data representeres med fargen grønn. Av figuren går det frem hvilke nivåer i administrasjon og gjennomføring av nasjonale prøver som vi kan belyse ved hjelp av metodekombinasjon i vår evaluering. Figur 2.1 Illustrasjon av metodekombinasjon i evaluering av nasjonale prøver (gul = kvalitative data, grønn = kvantitative data). 2.2 Kvantitative data I evalueringen av nasjonale prøver som system inngår tre forskjellige elektroniske spørreundersøkelser. Den første omfatter et representativt utvalg på 118 norske kommuner og dekker skoleeiernes synspunkter. Den andre gjelder skoleledere ved 612 grunnskoler i de samme 118 kommunene. Den siste undersøkelsen er besvart av 469 lærere ved 97 av de 612 grunnskolene. Utvalgene av kommuner og grunnskoler er de samme som i Utdanningsdirektoratets spørreundersøkelse høsten 2012, der nasjonale prøver er ett av flere temaer. Utvalgene har god representativitet både når det gjelder størrelse, geografi og skoletype, noe det er redegjort nærmere for i rapporten fra den spørreundersøkelsen (Vibe og Hovdhaugen 2012). Svarprosenten for 30

33 kommunene var 78 prosent, mens den var 65 prosent for skolelederne. Når vi analyserer resultater på skole- og skoleeiernivå er det disse utvalgene vi bruker. De aktuelle avsnittene fra rapporten om Utdanningsdirektoratets spørreundersøkelse høsten 2012 er gjengitt som Vedlegg 2 A i denne rapporten Lærersurveyen Når det gjelder de 97 grunnskolene der vi har gjennomført spørreundersøkelse blant lærerne, så er disse rekruttert spesielt for denne evalueringen. De 97 skolene befinner seg samtidig blant de 612 skolene som inngikk i Utdanningsdirektoratets spørreundersøkelse høsten 2012, som vi bruker for analyser på skoleledernivå. Disse skolene ble kontaktet med en epost i april 2012 med forespørsel om de ville delta i lærersurveyen og siden fulgt opp over telefon dersom de ikke besvarte eposten. I utgangspunktet ble omtrent 750 grunnskoler fra utvalget for Utdanningsdirektoratets spørreundersøkelse høsten 2012 kontaktet på denne måten. Målsetningen var å rekruttere omtrent 100 skoler. Det ble lagt vekt på å få et utvalg med god geografisk spredning og god fordeling på barneskoler, 1-10 skoler og ungdomsskoler. Vi lot med vilje små skoler være underrepresentert, fordi det er lite effektivt å rekruttere små skoler når det er lærere som skal intervjues. I den grad det er samvariasjon mellom skolestørrelse og holdninger og praksis knyttet til nasjonale prøver, kan dette påvirke resultatene. Vi skulle ikke ha med alle lærere ved skolen i undersøkelsen, det vil si at vi ønsket å begrense utvalget til lærere som hadde erfaring med gjennomføring av nasjonale prøver i løpet av de tre siste skoleårene. Vi antok at dette ville omfatte omtrent 40 prosent av alle lærerne på skolen, eller 60 prosent av lærerne på de to aktuelle trinnene, og at vi dermed ville få med i gjennomsnitt åtte lærere fra hver skole. Dette viste seg å være et litt for høyt estimat. Vi rekrutterte i alt 650 lærere ved 97 skoler, altså 6,6 i gjennomsnitt ved hver skole. 479 av disse, eller 72 prosent, har besvart undersøkelsen. De 97 skolene vi satt igjen med fordeler seg på 56 barneskoler, skoler og 22 ungdomsskoler, noe som er svært nær fordelingen blant grunnskoler generelt. 11 skoler har under 100 elever, 59 har mellom 100 og 299 elever, mens 27 har 300 eller flere elever. Det betyr at de små skolene er underrepresentert til fordel for de mellomstore. Geografisk er Østlandet utenom Oslo og Akershus overrepresentert i forhold til resten av landet. Til slutt kan nevnes at det bare er offentlige grunnskoler blant de 97 skolene. Vårt skoleutvalg for lærersurveyen er dermed strengt tatt verken tilfeldig eller representativt. Det som har vært viktigst for oss er imidlertid ikke å skaffe god representativitet av skoler, men at vi får et utvalg av lærere ved de 97 skolene som på best mulig måte speiler norske grunnskolelærere på mellom- og ungdomstrinnet. Skolenivået representeres av undersøkelsen blant skolelederne, og her har vi et meget godt utvalg på i alt 612 skoleledere gjennom Utdanningsdirektoratets spørreundersøkelse. Det finnes ingen tilgjengelige opplysninger om hvordan populasjonen av norske lærere som er involvert i gjennomføringen av nasjonale prøver er sammensatt. Dermed kan vi ikke si noe eksakt om representativiteten til vårt utvalg av lærere i lærersurveyen utover at lærere ved små skoler er underrepresentert. Det beste vi kan gjøre er å sammenlikne med norske grunnskolelærere generelt, enten ved å bruke registerdata, eller ved å sammenlikne med andre utvalgsundersøkelser. I Vedlegg 2B gjør vi sammenlikninger ut fra GSI (Grunnskolenes informasjonssystem) og TALIS-undersøkelsen blant lærere på ungdomstrinnet (Vibe m.fl. 2009). Vi finner at vårt utvalg har god representativitet både med hensyn til lærernes kjønn, alder og utdanningsbakgrunn når vi bruker disse kildene som målestokk. Når det gjelder ansiennitet som lærer, er den noe kortere enn det som gjaldt for TALISutvalget. Siden vi inkluderer lærere som har vært involvert i prøvene én eller flere ganger i løpet av de tre siste skoleårene, kan resultatene påvirkes av hvor lenge det er siden hver enkelt har hatt befatning med prøvene. Vi har derfor undersøkt om svarene på viktige spørsmål i lærersurveyen påvirkes av hvor 31

34 «fersk» lærernes erfaring er. Dette ser ikke ut til å være tilfelle, og er dokumentert med et par eksempler i Vedlegg 2B. En alternativ måte å vurdere representativitet på er å se om svarene på spørsmålene om nasjonale prøver som vi får fra skoleeiere og skoleledere er forskjellige når vi skiller mellom skoler og kommuner der vi har gjennomført lærersurveyen og andre skoleeiere og skoleledere som er med i våre undersøkelser. Hvis dette ikke er tilfelle, kan det være en indikasjon på at lærerutvalget har god representativitet. I et eget vedlegg (Vedlegg 2B) gir vi noen eksempler på slike sammenlikninger. Konklusjonen på disse eksemplene er at vi må ta høyde for at lærerne og skolelederne ved skolene der vi har gjennomført vår lærersurvey, kan legge noe større vekt på forberedelser til nasjonale prøver enn det som er tilfelle for andre skoler. Det er derimot ingen signifikant forskjell i skoleledernes opplevelse av nytten av prøvene ved skoler der vi har gjennomført lærersurvey og andre skoler. Skoleleders og lærernes opplevelse av nytten av prøvene henger i noen grad sammen, og dermed kan vi, riktignok med forbehold, konkludere med at lærerne som er med i surveyen kan vise et noe større engasjement i forberedelsene til prøvene enn andre lærere, men at de ikke nødvendigvis opplever en annen nytte av prøvene Spørreundersøkelsenes representativitet. En konklusjon Vår konklusjon etter denne gjennomgangen er at vårt kvantitative materiale har en tilfredsstillende kvalitet for våre analyseformål. Utvalgene på skole- og skoleeiernivå er nærmere presentert i en egen rapport (Vibe m.fl. 2012) og i Vedlegg 2A, mens analysene av utvalget for lærersurveyen er gjengitt i Vedlegg 2B og viser at det speiler sammensetningen av grunnskolelærere på en tilfredsstillende måte. Vi må likevel ta to forbehold. Det første gjelder at vi strengt tatt ikke kjenner populasjonen vi ønsker å si noe om, nemlig grunnskolelærere på mellom- og ungdomstrinnet som har vært involvert i gjennomføringen av nasjonale prøver de tre siste skoleårene. Vi har forsøkt så godt det lar seg gjøre å rekruttere et utvalg av lærere etter nettopp disse kriteriene, men verken vi eller noen andre kan med sikkerhet si hvor mange og hvem disse lærerne faktisk er. Vi kan likevel beregne oss fram til at de utgjør omtrent en tredjedel av alle grunnskolelærere, eller halvparten av lærerne på de to aktuelle trinnene. Dette virker som et rimelig estimat. Vi ser også at de har vesentlige likhetstrekk med grunnskolelærerne generelt, slik vi kan beskrive dem ut fra GSI og TALIS-undersøkelsen. Vårt andre forbehold gjelder om de erfaringene, den praksisen og de holdningene vårt nettoutvalg for læresurveyen har er representative for den relevante populasjonen av lærere. Dette kan vi ikke si noe sikkert om, men skoleledernes holdninger og praksis på de skolene lærerne kommer fra og skoleeiers holdninger og praksis, kan tyde på at vi har fått med skoler og kommuner i lærersurveyen der skoleleder og skoleeier har et noe mer aktivt forhold til nasjonale prøver enn det som kan gjelde grunnskoler generelt. I den grad det er en sammenheng mellom hva skoleleder og skoleeier mener og gjør og hva vi finner hos lærerne, kan vi forvente å ha fått med lærere som kanskje er noe mer engasjert i problematikken rundt nasjonale prøver enn gjennomsnittet av lærere. Store avvik har vi likevel ikke grunn til å tro at det er. 2.3 Kvalitative data Kvalitativt har vår undersøkelse to hovedelementer, i form av a) dokumentstudier og intervjuer på statlig nivå, og b) besøk på enkeltskoler for å se og høre hvordan prøvene forberedes og gjennomføres i praksis (se tabell 2.1 over). Under besøkene benyttet vi intervjuer og observasjon for å samle data. Tabell 2.2 nedenfor gir en oversikt over de ulike typene av kvalitative metodene og undersøkelsesenhetene som vi har benyttet i vår datainnhenting. 32

35 Tabell 2.2 Kvalitative utvalg og datakilder Nivå Analyseenheter Datakilder Statlig nivå Utdanningsdirektoratet To intervjuer med til sammen fire personer (direktør/avdelingsledernivå og rådgivernivå) Dokumentstudier Fylkesmennenes Dokumentstudier utdanningsavdelinger Skolenivå Skoleleder Seks intervjuer (tre barneskoler og tre ungdomsskoler fordelt på tre kommuner) Lærere 5. og 8. trinn Fire gruppeintervjuer (to-fire personer) (en barneskole og tre ungdomsskoler) og fire enkeltintervjuer (to barneskoler), alle fordelt på fire kommuner Elevnivå Elever 5. trinn Seks observasjoner av prøvegjennomføring på 5. trinn (tre barneskoler) Elever 8. trinn Tre gruppeintervju (tre-fire personer) (tre ungdomsskoler) Foresatte Tre gruppeintervju (to-tre personer) fordelt på to barneskoler og en ungdomsskole samt en e-post-enquête til foresatte på en barneskole (14 respondenter) Dokumentstudier Vår evaluering tar utgangspunkt i overordnede politiske beslutninger utmyntet i regelverk og veiledninger om nasjonale prøver, slik dette er nedfelt i et avgrenset sett av statlige og offentlige dokumenter. I evalueringen har vi behandlet dokumentene som uttrykk for intensjonene med nasjonale prøver, det vil si at dokumentene uttrykker de standarder som organisatoriske, forvaltningsmessige og institusjonelle tolkninger og praksiser rundt prøvene springer ut fra og skal måles opp mot. Vi har ikke gjort noen selvstendige søk etter dokumentene som ligger til grunn for evalueringen. Dokumentene vi har undersøkt, har vi har fått pekt ut fra oppdragsgiver på oppdragsgivers nettside. Via nettsiden skal regelverk og veiledninger være tilgjengelig primært for skoleeiere, skoleledere og lærere, men offentligheten har også tilgang til disse dokumentene. Dette gjelder for eksempel foreldre. Dokumentene kan derfor betegnes som sekundære, det vil si at de er tilgjengelig for alle, selv om de ikke egentlig har offentligheten som målgruppe (Lynggaard 2012). Dette har betydning når man skal bedømme dokumentenes språkbruk og innhold. Når vi er ute etter intensjonene med nasjonale prøver som praksis og fortolkninger siden skal måles opp mot, må vi søke i innholdet etter dokumentenes budskap og holde dette sammen med dokumentenes målgruppe. For vårt formål har vi søkt etter formuleringer i det statlige regelverket og veiledningene som følger nasjonale prøver, som kan sies å uttrykke enten prøvenes administrative funksjon (styringsinformasjon, ansvarliggjøring) og/eller prøvenes pedagogiske funksjon (pedagogisk utviklingsarbeid, tilbakemelding til elever). I tillegg har vi søkt etter formuleringer om påbud og forbud samt kontroll med at slike påbud og forbud blir overholdt. Disse formuleringene har vi søkt å aktualisere under våre tre hovedtema i) informasjon, veiledning og kontroll, ii) forberedelse og gjennomføring av prøvene og iii) bruken av resultater fra prøvene (se kapittel 1). Slike søk etter budskap har forbindelser til hva Kristina Boréus og Göran Bergström (2005) betegner som «ideanalyse», der «ideer kan betraktes som tankekonstruksjoner som til forskjell fra de flyktigere inntrykk eller holdninger særmerkes av en viss kontinuitet.» (ibid.: 149, vår oversettelse). I denne forstand blir ideer en forestilling om virkeligheten eller om hvordan man bør handle. Hva man siden gjør med disse ideene i analysen, er opp til forskeren, undersøkelsens teoretiske utgangspunkt og formål. I vårt tilfelle skal idéanalysen frembringe et sett med formuleringer som vårt videre datamateriale skal måles mot, og vi skal ikke analysere ideene videre for eksempel med tanke på å konstruere ideologier (Boréus og Bergström 2005). 33

36 Dokumentmaterialet inneholder også en annen type dokumenter. Da vår evaluering startet, hadde oppdragsgiver allerede samlet inn og systematisert rapporter fra fylkesmennenes utdanningsavdelinger som omhandlet disse instansenes erfaring med forberedelse, gjennomføring og bruk av nasjonale prøver på skoleeiernivå. Fylkesmennene skal som representant for statlige myndigheter i regionene følge opp, bistå og veilede skoleeier (kommunenivået) i spørsmål som gjelder nasjonale prøver. I tillegg har fylkesmannen en brukerstøttefunksjon for det elektroniske prøveadministrasjonssystemet PAS/PGS (ikke del av denne evalueringen). Rapportene fra fylkesmennenes utdanningsavdelinger var i utgangspunktet unntatt offentlighet, og kan slik regnes som primære dokumenter sirkulert blant et begrenset antall aktører (Lynggaard 2012). Når denne evalueringen foreligger, er rapportene fra fylkesmennenes utdanningsavdelinger å regne som sekundære dokumenter, som vi har fått lov til å sitere fra. Ved å gjennomgå rapportene fra fylkesmennenes utdanningsavdelinger har vi kartlagt tema og problemstillinger som vi mente det ville være særlig interessant å belyse videre gjennom vår egen datainnsamling. Rapportene fra fylkesmannsnivået har derfor i hovedsak blitt brukt som underlagsmateriale til våre spørreskjema og intervjuguider. I tabell 2.3 nedenfor gir vi en kort oversikt over punkter fra fylkesmannsrapportene som vi la til særlig til grunn i vårt arbeid. Tabell 2.3 Hovedfunn i rapporter om nasjonale prøver fra fylkesmennenes utdanningsavdelinger Tema Fylkesmennenes funn Spørsmål aktuelle for NIFUs evaluering Informasjon om nasjonale prøver Forberedelser til nasjonale prøver Påmelding til prøvene Fritak Teknisk gjennomføring Registrering av elevstatus etter gjennomført prøve Etterarbeid med resultatene Enkelte embeter mener at informasjon om prøvene har vanskelig for å nå frem. Det hersker usikkerhet om skoleeiere, skoleledere og lærere benytter seg av informasjonen. Enkelte embeter mener at det forekommer «testdrilling», men ingen kan si dette med sikkerhet. Ikke alle elever blir påmeldt Det utferdiges ikke alltid enkeltvedtak når det gis fritak fra nasjonale prøver. Det hersker usikkerhet om kriteriene for å gi fritak. Embeter etterlyser bedre informasjon om tekniske krav til skolens utstyr. Noen embeter finner rutinesvikt. Embeter finner stor variasjon mellom skoler og mellom kommuner Embeter mener at stadig flere skoler ser verdien av etterarbeid Hva slags informasjon har målgruppene tilgjengelig? Anser de informasjonen som tilstrekkelig? Hvordan tolker de informasjonen? Hvordan øves det til nasjonale prøver? Hvor mye øves det til nasjonale prøver? Hvem eller hva avgjør hvor mye det skal øves til nasjonale prøver? Hvordan arbeider skolene med påmelding av elevene? Hvordan kontrolleres påmelding av elevene? Er regelverket om fritak uklart? Kan den offentlige debatten føre til at skolene presses til for lavt antall fritak? Hva er situasjonen med hensyn til teknisk utstyr ved skolene? Hvordan bedømmer skoleeier situasjonen med teknisk utstyr ved skolene? Hvordan arbeider skolene med registrering av elevstatus? Hvem kontrollerer skolenes registrering av elevstatus? Hvordan arbeider skolene med resultatene av prøvene? Hvordan arbeider skoleeier med resultatene av prøvene? Med hensyn til hvordan utdanningsavdelingene i fylkene oppgir til Utdanningsdirektoratet at de utfører sitt arbeid, finnes det stor variasjon mellom de ulike embetene. Fem embeter gjennomførte tilsyn høsten 2011, og har derfor god kunnskap om bruk av nasjonale prøver i kommunene i fylket. Dokumentene fra statlig nivå som gjelder nasjonale prøver, har dermed gitt et todelt utgangspunkt for vår evaluering. For det første har vi søkt å identifisere hovedtema i Utdanningsdirektoratets styringsdokumenter og veiledninger for å vurdere tolkning og praksis blant skoleeiere, skoleledere, lærere og foresatte (for oversikt over dokumenter, se kapittel 3). For det andre har vi ved hjelp av Utdanningsdirektoratets oppsummering av fylkesmennenes rapporter fått innblikk i tema som det 34

37 kunne være særlig interessant å undersøke videre i kontakt med skoleeiere, skoleledere, lærere og foresatte Utvalg av kvalitative undersøkelsesenheter Vårt kvalitative utvalg av undersøkelsesenheter befinner seg på statlig nivå (Utdanningsdirektoratet), på skolenivå (skoleledere og lærere) samt elevnivå (elever og foresatte). På statlig nivå har vi intervjuet representanter for ledernivå (avdelingsleder/direktør) og rådgivernivå. Disse intervjuene er av eksplorativ karakter, det vil si at man intervjuer aktører som antas å være sentrale for det feltet som undersøkes. Her ber man aktørene om å angi dokumenter, kilder og eventuelt utdypende forklaringer på dokumentene (Lynggard 2012). Intervjuene skal på denne måten bidra til å belyse utgangspunktet for evalueringen. Utvalget av intervjuobjekter på statlig nivå er i vårt tilfelle satt sammen av oppdragsgiver ut fra en vurdering av hvilke personer eller funksjoner i Utdanningsdirektoratet som kunne tenkes å gi opplysninger som var mest mulig relevante for evalueringens formål. I kvalitativ metode er det verken realistisk eller formålstjenlig å etterstrebe representativitet gjennom tilfeldig utvelgelse av intervjuobjekter. Til dette er utvalgene for små, og metoden er innrettet mot behovet for å belyse problemstillingen fra særskilte vinkler. Derfor er det viktigere at utvalgene er analytisk selektive enn at de er tilfeldige og dermed statistisk representative (Halkier 2012). For å undersøke våre problemstillinger kvalitativt, det vil si ved hjelp av et lite utvalg skoler, er det for det første viktig å få et utvalg lærere som har best mulig kjennskap til nasjonale prøver, og et utvalg skoleledere, elever og foresatte som representerer både barneskoler og ungdomsskoler, samt skoler som over tid har gjort ulike erfaringer med prøvene og som har en viss geografisk spredning. Med dette håpet vi å få til maksimum variasjon i utvalget (ibid.). I kvalitativ samfunnsforskning er ikke verdien av funn fra slike utvalg knyttet til mengden av observasjoner og muligheten for generalisering. Funnene skal brukes for å identifisere fellestrekk som binder sammen og gir regelmessighet på tvers av unike variasjoner (Andersen 1997: 10). Vi har følgelig samlet inn kvalitative data om forberedelse, gjennomføring og arbeid med resultater fra nasjonale prøver fra tre barneskoler og tre ungdomsskoler skoler fordelt på fire ulike kommuner. I to kommuner har vi altså besøkt både en barneskole og en ungdomsskole. Kommunene ble valgt ut for å skape variasjon i utvalget med hensyn til beliggenhet/befolkningstetthet. Derfor har vi to bykommuner og to kommuner uten bystatus i utvalget. Skolene ble kontaktet én etter én fra listen av skoler som allerede hadde samtykket til å delta i lærersurveyen. Siden alle data fra skolene er anonymisert, har ikke dette gitt oss noen ekstra gevinst i analysen av dataene i form av casestudier eller lignende analysemetoder som tar hensyn til kontekst. Vi ønsket imidlertid kontakt med lærere som allerede hadde sagt ja til å delta i en undersøkelse av nasjonale prøver. På denne måten regnet vi med at vi ville ha sjanse til å treffe lærere som var villige og forberedt til å dele sine synspunkter på nasjonale prøver, samtidig som sjansene var til stede for at utvalget ville inneholde både lærere som er positive og lærere som er negative til prøvene. Vi hadde ikke på forhånd undersøkt skolenes resultater fra de nasjonale prøvene tidligere år. Det viste seg imidlertid at det kvalitative utvalget av skoler var stort nok til å oppvise variasjon i resultater, både blant barne- og ungdomsskolene. I tillegg bestrebet vi oss på å få med en skole med høy andel minoritetsspråklige elever i utvalget. Dette fordi elever som på forhånd har enkeltvedtak som gir rett til særskilt opplæring i norsk, kan vurderes fritatt fra nasjonale prøver. Fritak av elever med disse kjennetegnene har vært et tilbakevendende tema i offentlig debatt om nasjonale prøver, og vi ønsket mer kunnskap om hvordan en slik skole arbeider med elevene med hensyn til nasjonale prøver. Utvalget av skoleledere som vi har intervjuet, følger naturlig av at rektor takket ja på skolens vegne til å få besøk og legge til rette for vår datainnsamling på den enkelte skole. Kjønnsfordelingen i dette utvalget er fire kvinner og to menn. Fem av disse hadde arbeidserfaring som skoleledere i tidsrom som strakk seg fra de siste tre til 13 år, mens den siste skolelederen var nytilsatt. 35

38 Utvalgene av lærere som vi har intervjuet på den enkelte skole, var i sin helhet enten valgt ut av skoleleder eller meldt ved selvseleksjon. Denne utvalgsmetoden er en konsekvens av at det var skoleleder som takket ja til å delta i den kvalitative delen av undersøkelsen på skolens vegne, etter å ha forhørt seg med lærerkollegiet. Vi hadde derfor ikke selv kontakt med noen lærere i selve utvalgsprosessen. Det vil naturligvis variere med elevtall og skolestørrelse hvor mange lærere som berøres av arbeidet med nasjonale prøver på hver skole. I vår kontakt med skolen hadde vi bedt om å få foreta gruppeintervju med tre til fire lærere. Fremgangsmåten ble valgt fordi vi da kunne få snakke med så mange lærere som det praktisk kunne la seg gjøre mens vi samtidig la beslag på så lite av lærernes tid som mulig. Resultatet ble at vi på skolene fikk møte grupper på mellom to og fire lærere, valgt ut enten fordi de var kontaktlærere for en 5. klasse eller fordi de hadde 8. trinn i fagene norsk, matematikk eller engelsk (mange kontaktlærere på barnetrinnet vil ofte dekke flere av disse fagene selv). Flertallet av disse lærerne hadde gjennomført prøvene for første gang høsten Kjønnsfordelingen i det totale utvalget av lærere var 11 kvinner og fem menn, fordelt slik at det var fem kvinnelige og to mannlige mellomtrinnslærere og seks kvinnelige og tre mannlige ungdomsskolelærere i utvalget. Sammensetningen av de kvalitative utvalgene av elever og foresatte som har blitt intervjuet om nasjonale prøver, er også en konsekvens av vår kontakt med skolene og skolenes tilrettelegging for vårt besøk. På hver ungdomsskole som vi besøkte, ba vi om å få snakke med tre-fire elever på 8. trinn. Skolens ledelse var blitt forelagt intervjuguiden som vi ønsket å bruke i møte med elevene samt et informasjonsskriv som vi ønsket at skolen ga videre til de aktuelle elevene. Der hvor skoleleder samtykket til å ta imot oss for at vi kunne samle data på skolen, hadde også elevenes kontaktlærer plukket ut elever som kunne møte oss til intervju, i enkelte tilfeller i samarbeid med skoleleder. På en av de tre ungdomsskolene understreket skolelederen at elevene var plukket ut og forespurt nettopp med tanke på å skape variasjon i utvalget, slik at vi også fikk snakke med elever som til vanlig ikke mestrer skolen på toppnivå. Ut over dette er det grunn til å tro at kontaktlærer hadde forespurt elever som kunne tenkes å svare utfyllende for seg i et intervju, og at det kan være sammenfall mellom taleførhet og det å mestre skolen godt. Vårt inntrykk er at flesteparten av elevene vi har fått snakke med, klarer seg nokså godt eller veldig godt på skolen. Vi har naturligvis ikke hatt anledning til å sjekke dette mot elevenes resultater. I kapittel 7 kommenterer vi dette med at dersom det er ønskelig å finne ut mer om hvorvidt elever ikke opplever mestring eller gruer seg til nasjonale prøver, bør andre og mer kvantitative metoder benyttes. Våre data egner seg på den andre siden godt til å gi et inntrykk av hvordan elever på 8. trinn ser på hensikten med nasjonale prøver og bruken av resultatene. Kjønnsbalansen i utvalgene av elever på de tre skolene var god. Målgruppen foreldre/foresatte viste seg vanskelig å nå, noe vi også hadde regnet med på forhånd. Vi tok kontakt med FAU-leder på alle skolene vi hadde fått avtale med, og spurte om vedkommende kunne tenke seg å legge til rette for et gruppeintervju med foresatte til elever på 5. respektive 8. trinn om de foresattes erfaringer med nasjonale prøver. På tre av skolene fikk vi lov til å gjennomføre slike intervjuer i forlengelse av FAU-møter. På en av skolene foreslo FAU-lederen at vi tok kontakt med klassekontaktene for 5. trinn slik at vi kunne spørre om en av disse kunne arrangere et gruppeintervju for oss. Dette viste seg vanskelig, men ga oss samtidig ideen om å sende ut spørsmål på e-post til så mange som mulig av de foresatte ved denne skolen. FAU-lederen og skolens rektor samtykket til denne fremgangsmåten, og e-post ble sendt til ca. 80 mottakere som var foresatte til 43 barn på det aktuelle trinnet på denne skolen. Mottakerne ble bedt om å svare på tre spørsmål om erfaringer med nasjonale prøver: a) Hva slags informasjon om nasjonale prøver har du fått fra skolen? b) Hvis eleven snakker med deg om nasjonale prøver, hva snakker eleven om da? c) Hvordan tenker du at resultatene fra nasjonale prøver kan brukes til for å forbedre elevens læringsarbeid? 36

39 Vi fikk svar fra til sammen 14 foresatte, enkelte av dem utfyllende. Vi foreslo derfor e-post-enquête som alternativ til gruppeintervju til de to siste FAU-lederne vi har henvendt oss til, men har ikke lyktes i å få bekreftende svar fra disse FAU-lederne til tross for at de tidlig viste interesse. Denne utvidelsen av metoder for innhenting av data fra foresatte har vist seg nyttig. Gjennom utvalgsmetoden for de tre gruppeintervjuene med foresatte (henvendelse til FAU-leder, klassekontakter) har vi nok også møtt foreldre/foresatte hvis elever klarer seg nokså bra på nasjonale prøver. Gjennom e-post-enquêten lyktes vi imidlertid å komme i kontakt med enkelte foresatte hvis barn strever mer med prøver eller med skolen generelt. Slike opplevelser viste det seg vanskelig å få rapporter om gjennom de vanlige gruppeintervjuene, selv om også disse har bidratt med relevant og utfyllende informasjon i vår helhetsforståelse av hvordan nasjonale prøver administreres og hvordan resultatene brukes Om observasjoner av 5. trinn i prøvesituasjonen Etter tillatelse fra skoleleder og lærerne som har vært involvert i nasjonale prøver på barnetrinnet, har vi vært til stede under gjennomføring av nasjonal prøve i henholdsvis lesing og regning i totalt fem klasser fordelt på tre barneskoler. På den ene skolen satt klassen fordelt på to rom under prøven, hvor vi fikk lov til å plassere en forsker i hvert av rommene. Slik har vi til sammen seks observasjoner av hvordan disse prøvene har blitt gjennomført på barneskolene i utvalget vårt høsten Til grunn for observasjonen lå et observasjonsskjema, utviklet for at forskeren skulle registrere hva som skjedde ved oppstarten av prøven, under selve gjennomføringen av prøven og ved avslutningen av prøven. Observasjonsskjemaet følger som vedlegg til denne rapporten. Observasjoner kan være egnet i samfunnsvitenskapene når man ønsker å finne ut mer om hvordan aktører samhandler i gitte situasjoner, og kan gjerne utfylles av intervju om hvordan de samme aktørene forklarer eller resonnerer om handlingene (Repstad 2007). Imidlertid er observasjoner tett forbundet med forskningseffekter, det vil si at forskerens tilstedeværelse påvirker samhandlingen mellom aktørene som observeres (Løken 2012; Haug 2011). Dette innebærer at både lærere og elever i klasserommene hvor vi fikk være til stede, var oppmerksomme på vårt nærvær og i noen grad regulerte sin atferd med hensyn til dette. Vi skriver «i noen grad», fordi vi tror at forskningseffekten nok har vært større for lærerne enn for elevene. Med dette mener vi at elevene kanskje var ekstra stille og oppmerksomme i begynnelsen av prøven, men etter hvert som tiden gikk og arbeidet med oppgavene var godt i gang, så det for oss ut som om elevene glemte at det var en ekstra voksen til stede i rommet. Det gjorde naturligvis ikke læreren. Læreren hadde på forhånd gjort elevene kjent med at det kom til å være en forsker til stede i rommet, og startet også prøven med å vise til den av oss som satt i klasserommet og si at denne personen er med i dag for å se hvordan vi jobber med prøven. Likevel mener vi at vi gjennom observasjon har fått tak i viktige data om hvordan klasserom er organisert under prøvene, hvordan lærer og elever samhandler i gjennomføringen av prøvene, og hvordan avslutningen av prøvene foregår. Den forskningseffekt som observasjonen hadde på lærerne, tror vi i noen grad kan oppveies av at vi fikk intervjue de samme lærerne etter at observasjonen var avsluttet og læreren fikk anledning til å kommentere det som hadde skjedd i timen. Alt dette er utdypet i kapittel 7 i denne rapporten. 37

40

41 3 Det statlige nivået Det er Kunnskapsdepartementet som bestemmer formålet med de nasjonale prøvene. Utdanningsdirektoratet har ansvaret for administrasjon og gjennomføring av prøvene, inkludert det overordnede ansvaret for informasjon som gjelder nasjonale prøver. Til det statlige nivået hører også fylkesmannsembetene og disse embetenes utdanningsavdelinger. I dette kapittelet skal vi se nærmere på intensjonene med nasjonale prøver uttrykt i regelverk og veiledninger, og søke utdypet forståelse av dokumentene som hjemler regelverket. Denne gjennomgangen av regelverk, veiledninger og tolkninger av disse dokumentene ligger til grunn for våre vurderinger i kapittel 4-7 om hvordan prøvene blir administrert og gjennomført på skoleeier- og skolenivå. Hovedpunkter i kapittel 3 Kvalitative delfunn - Nasjonale prøver er primært utformet for å gi styringsinformasjon, sekundært for å gi lærerne et arbeidsredskap i å utvikle elevenes læringsarbeid. - Fritaksreglene gir rom for lokale vurderinger innenfor gitte rammer. - Skolene oppfordres til å forberede elevene til prøvene. - Reglene for påmelding av elever til prøvene er presisert. Hovedfunn i kapittel 3 - Retningslinjene gir rom for en viss grad av lokalt skjønn som kan skape variasjon mellom skoler og kommuner. - Veiledningene til lærerne kommuniserer i liten grad prioriteringen mellom prøvenes to formål. Vi har illustrert styringskjeden for nasjonale prøver og gjengitt de viktigste dokumentene som angår administrasjon og gjennomføring av prøvene i figur 3.1 nedenfor. 39

42 Kunnskapsdepartementet Utdanningsdirektoratet Fagmiljø for utvikling og kvalitetssikring av prøvene Fylkesmennenes utdanningsavdelinger Kommunenivå (skoleeiere) Skolenivå (skoleledere) Figur 3.1 Styrings- og kontaktkjede for administrasjon og gjennomføring av nasjonale prøver. Mandatet for evalueringen omfatter ikke prøvenes innhold og faglige aspekt. Derfor er boksen som viser Utdanningsdirektoratets kontakt med fagmiljø skravert i denne figuren. Når det gjelder det statlige nivået består materialet og metodene våre i hovedsak av dokumentstudier. Vi har gått gjennom det tilgjengelige skriftlige materialet som gjelder departementets oppdrag til direktoratet, samt direktoratets retningslinjer og lærerveiledninger for nasjonale prøver (se tabell 3.1 nedenfor). Videre har vi foretatt intervjuer med ansatte i direktoratet på ledernivå 5 og rådgivernivå. Disse intervjuene er å regne som eksplorative, idet de bidrar med opplysninger som utfyller departementets dokumenter som gjelder administrasjon og gjennomføring av prøvene, og gir i tillegg informasjon om hva dette arbeidet innebærer for direktoratet så vel som for kommuner og skoler. Kommune- og skolenivået får i all hovedsak informasjon og materiell direkte fra direktoratet eller via direktoratets nettsider, og direktoratet får mange henvendelser fra skoler og skoleeiere både før, under og etter at prøvene blir gjennomført lokalt. Dokumentene vi har undersøkt, er oppsummert nedenfor i tabell Av hensyn til intervjuobjektenes anonymitet angir vi ikke nøyaktig ledernivå/stillingstittel på kildene i Utdanningsdirektoratet. 40

43 Tabell 3.1 Dokumenter som ligger til grunn for evaluering av nasjonale prøver som system Avsender Dokument Mottaker Dokumentstatus 1 Kunnskapsdepartementet Oppdragsbrev Utdanningsdirektoratet Styringsdokument 2 Utdanningsdirektoratet Rammeverk for nasjonale prøver («Rammeverket») 3 Utdanningsdirektoratet Nasjonale prøver veiledning til skoleeiere og skoleledere med retningslinjer for gjennomføring («Retningslinjene») 4 Utdanningsdirektoratet Hvordan bruke nasjonale prøver som redskap for læring? («generell lærerveiledning») 5 Utdanningsdirektoratet Nasjonale prøver. Veiledning til lærere («lærerveiledningene») 6 Utdanningsdirektoratet Informasjon om nasjonale prøver til foreldre som har barn på 5., 8. og 9. trinn («foreldrebrosjyren») 7 Fylkesmennenes utdanningsavdelinger Rapporter om forberedelse, gjennomføring og oppfølging av nasjonale prøver på skole-eiernivå 6 Kunnskapsdepartementet, Utdanningsdirektoratet og fagmiljø/kvalitetssikrere av prøver Skoleeiere og skoleledere Lærere Lærere Foreldre og foresatte Utdanningsdirektoratet Styringsdokument Styringsdokument Veiledning Veiledning Veiledning Veiledning 3.1 Oppdragsbrev til Utdanningsdirektoratet Kunnskapsdepartementet fastsetter formålet med nasjonale prøvene og regulerer hva som skal prøves samt tidspunktet for gjennomføring av prøvene. Dette nedfelles i et oppdragsbrev til Utdanningsdirektoratet. Oppdragsbrevet til direktoratet fra 2006 som effektuerte ny oppstart av nasjonale prøver i 2007 etter evaluering og pause, angir målet for nasjonale prøver slik: De nasjonale prøvene skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål for de grunnleggende ferdighetene regning og lesing på norsk og engelsk, slik de er integrert i kompetansemål for fag i LK06 etter 4. og 7. årstrinn. Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. Oppdragsbrev til Utdanningsdirektoratet (23. mai 2006). Sitert i Rammeverket. 7 I brev fra Kunnskapsdepartementet i 2009 fikk Utdanningsdirektoratet videre i oppdrag å administrere gjennomføring av nasjonale prøver i lesing og regning for 9. trinn fra og med høsten 2010, samt starte arbeidet for å forbedre mulighetene for sammenligning av prøveresultater over tid. Mens mandatet for vår evaluering ikke omfatter nasjonale prøver for 9. trinn, er vi i intervju med ansatte i Utdanningsdirektoratet gjort kjent med forventninger om at evalueringen skal vurdere arbeidet med forbedring av muligheten for sammenligning av prøveresultater over tid. Arbeidet med å utvikle prøvenes mulighet for å sammenligne elevenes resultater over tid har betydning for prøvenes funksjon, hvordan dette formidles og omsettes i praksis. Denne utviklingen har opphav i departementets oppdragsbrev til Utdanningsdirektoratet ( ). Her viser til St.meld. nr. 31 ( ) Kvalitet i skolen, som redegjør for regjeringens planer om videreutvikling av det nasjonale prøvesystemet. Departementet skriver i brevet at det er en viktig målsetting at de nasjonale prøvene kan vise endringer i elevenes faktiske kompetansenivå over tid, men understreker samtidig at dette vil være metodisk utfordrende. Departementet ber om at Utdanningsdirektoratet prioriterer dette utviklingsarbeidet, kalt arbeid for å vise trend (vår utheving). På det praktiske planet innebærer dette at 6 Se kapittel 2 7 Her mangler åpenbart preposisjonen «i» i originalteksten. Ved senere henvisninger har vi rettet dette. 41

44 prøvene får innarbeidet såkalte ankeroppgaver som skal være identiske fra år til år. Oppdraget med å utvikle trendmåling i tilknytning til de nasjonale prøvene ble videreført og utdypet i brev fra departementet til Utdanningsdirektoratet i Trendmåling i nasjonale prøver i engelsk og regning har deretter blitt iverksatt slik at utvikling skal kunne måles med utgangspunkt i prøveresultat fra høsten Rammeverket for nasjonale prøver Utdanningsdirektoratet har ansvar for administrasjon og gjennomføring av de nasjonale prøvene, inkludert det overordnede ansvaret for informasjon. Ifølge ledernivået i direktoratet (intervju juni 2012) er de nasjonale prøvene ett av flere viktige verktøy som direktoratet rår over i den nasjonale utdanningspolitikken og administrasjonen av utdanningsfeltet. I intervjuet blir det fremhevet at prøvene inngår i det nasjonale kvalitetsvurderingssystemet og gir informasjon om elevenes læringsutbytte, noe utdanningsmyndighetene hadde lite kunnskap om tidligere. Videre understreker ledernivået prøvenes betydning som styringsinformasjon for innretning og videreutvikling av virkemidler i utdanningspolitikken. Direktoratet baserer dette arbeidet på et dokument kalt Rammeverk for nasjonale prøver (heretter referert som «Rammeverket»), som utarbeides av direktoratet og godkjennes av Kunnskapsdepartementet. Det nåværende Rammeverket ble sist revidert i desember I intervjuet omtaler ledernivået i Utdanningsdirektoratet utformingen av Rammeverket som «den kanskje viktigste milepælen i arbeidet med prøvene» etter at prøvene først ble innført i To år med nasjonale prøver våren 2004 og 2005 ble fulgt av en evaluering og en pause på to år før prøvene startet opp igjen høsten 2007 (Lie, Caspersen og Björnsson 2005). I 2006 fikk direktoratet følgelig anledning til å spesifisere et felles grunnlag for utforming, gjennomføring og rapportering av nasjonale prøver, og på den måten øke klarheten og åpenheten om prøvene. Rammeverket beskriver organiseringen av arbeidet med prøvene, og er først og fremst skrevet med tanke på Kunnskapsdepartementet, Utdanningsdirektoratet og fagmiljøene som utformer prøvene med hensikt om å avklare roller og skape en tydelig ansvarsdeling. Ifølge ledernivået i direktoratet førte dette til en profesjonalisering av dialogen med fagmiljøene som utvikler prøvene, med den følge at utdanningsmyndighetene i dag vet mer om selve prøvene og hva de viser, hva som fungerer og hvilken verdi som kan tillegges den informasjonen som prøvene gir. Etter ledernivåets mening bidrar Rammeverket på denne måten til å sikre prøvenes kvalitet. I dokumentet som utgjør Rammeverket for de nasjonale prøvene gjengis formålet med prøvene slik dette er formulert i oppdragsbrev fra Kunnskapsdepartementet til Utdanningsdirektoratet fra 2006 (se over). I Rammeverket kommenteres formålet, samtidig som prøvenes betydning for styrings-, utviklings- og forbedringsarbeid i skolen utdypes. Vi skal kort se nærmere på noen av disse formuleringene: Nasjonale prøver og resultatene fra dem må betraktes som del av en større sammenheng. Prøvenes formål og rolle må ses i forhold til et mangfold av vurderings- og prøveformer som til sammen gir et bredt og sammensatt bilde. De nasjonale prøvene utgjør et avgrenset, men viktig grunnlag i den totale situasjonsbeskrivelsen av norsk grunnopplæring. ( ) Prøvene gir et bilde av hvordan eleven har utviklet de grunnleggende ferdighetene i lesing og regning og deler av kompetansen i faget engelsk. Bildet som gis av elevens grunnleggende ferdigheter gjennom de nasjonale prøvene er pålitelig, men ikke uttømmende. For å få mer informasjon om enkeltelevens ferdigheter vil for eksempel annet kartleggingsmateriell kunne gi mer detaljert informasjon. Rammeverket (2010): s. 5 Her settes de nasjonale prøvene inn i et større system av vurderings- og kartleggingsverktøy som er tilgjengelig for skolene. Den videre presiseringen av prøvenes formål begrenser imidlertid prøvenes mulighet til å gi tilbakemelding til den enkelte elev: 42

45 Videre er det begrensninger for hva en nasjonal prøveordning alene kan forventes å gi detaljert informasjon om. Informasjonen som de nasjonale prøvene vil gi om enkeltindividet vil ikke kunne være detaljert. De nasjonale prøvene kan i første rekke gi informasjon om gruppe og trinn til lærer, skoleleder-, kommune-, regionalt- og nasjonalt nivå. Rammeverket (2010): s. 6 Rammeverket nyanserer her formålet med nasjonale prøver (se over), som angir at prøvene skal gi informasjon til elever og foresatte i tillegg til lærere, skoleledere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. Ifølge ledernivået i Utdanningsdirektoratet består det viktigste arbeidet i utvikling av nasjonale prøver akkurat nå av å forbedre lærernes mulighet til å utvikle elevenes læringsarbeid, samt å legge til rette for at prøvene kan brukes til å sammenligne resultater over tid. Dette innebærer at lærerne nå skal få raskere tilbakemelding om prøveresultatene og på den måten kunne gjøre mer umiddelbare vurderinger av hva resultatene betyr for elevgruppen som læreren har ansvar for. Læreren skal også få råd og veiledning om hvordan resultatene kan følges opp. Likevel rangeres den styringsinformasjonen prøvene kan gi høyere enn at prøvene skal sette lærerne i stand til å gi elevene konkrete tilbakemeldinger som kan forbedre deres læringsresultater. I intervjuet sier en av informantene på ledelsesnivå i Utdanningsdirektoratet: Det er ikke så lett å komme forbi den der, rett og slett fordi man har ulike behov. Nasjonale prøver er jo ikke utformet utelukkende som et verktøy for lærerne, de er utformet for å gi styringsinformasjon, og da er det andre hensyn som også må veie. Det har nok lærerne litt ulik forståelse av, og aksept for. I det pågående arbeidet for å styrke lærernes tilbakemelding til elevene er ikke selve prøvene endret. Snarere handler det om at direktoratet nå har ønsket å gi større oppmerksomhet til den informasjon som prøvene kan gi om elevnivået, og gi lærerne bedre veiledning i hvordan denne informasjonen kan utnyttes. I intervjuet mener ledernivået i direktoratet at debatten om rapportering, rangering og offentliggjøring av resultater kan ha skygget for mulighetene til å bruke prøvene som redskap for veiledning både i den offentlige debatten og i den faglige samtalen som forventes å foregå på skolene, slik at skolens ansatte kan ha blitt vant til å se på prøvene overveiende som et styringsverktøy. Ledernivå i direktoratet understreker at de ellers har et godt inntrykk av hvordan det arbeides med oppfølging av prøveresultatene. Mange steder har oppfølgingen tatt form av ekstra satsning på lesing og/eller regning, noe som ifølge direktoratet har dreid diskusjonene om prøveresultater bort fra rangering over i en debatt om kvaliteten i skolen. 3.3 Veileder til skoleeiere og skoleledere med retningslinjer for gjennomføring Styringsinformasjon om nasjonale prøver til skoleeiere, skoleledere og lærere er fra høsten 2012 nedfelt i dokumentet «Nasjonale prøver - Veiledning til skoleeier og skoleledere med retningslinjer for gjennomføring» (her referert som «Retningslinjene»). Her står det at formålet med nasjonale prøver er: å vurdere i hvilken grad skolen lykkes med å utvikle elevenes ferdigheter i lesing, regning og i deler av faget engelsk. Informasjonen fra prøvene skal brukes som kvalitetsutvikling på skoler, hos skoleeiere og på regionalt og nasjonalt nivå. I tillegg skal prøveresultatene bidra til å styrke skolenes og lærernes underveisvurdering.( ) Resultater fra de nasjonale prøvene gir kun et lite bilde av elevenes ferdigheter og kompetanse. Det er derfor viktig at resultatene ses i sammenheng med annen relevant informasjon om skolen, kommunen og elevene. Retningslinjene (2012): s. 4 43

46 Her fremheves prøvenes betydning som verktøy for måling og styring av resultater for skoler, skoleeiere samt regionale og nasjonale myndigheter. Ellers angir Retningslinjene en rekke spesifiserte oppgaver både for skoleeier og for skoleleder. Disse ansvarsområdene og oppgavene kommer vi tilbake til i detalj når vi i denne rapportens kapittel 4 og 5 vi tar for oss spørreundersøkelsene til skoleeier- og skoleledernivået. I det følgende skal vi se nærmere på enkelte tema fra Retningslinjene som skolene ofte kontakter Utdanningsdirektoratet for å diskutere eller spørre om, fordi det enten hersker uklarhet eller særlig debatt om spørsmålene. Dette dreier seg om fritak, påmelding/registrering, forberedelser til prøvene og bruken av resultatene Behov for lokal vurdering i fritak av elever fra nasjonale prøver Hovedregelen for nasjonale prøver er at prøvene er obligatoriske for alle elever. Fritak kan likevel gis under bestemte vilkår. Elevene dette gjelder, er bare dem som allerede har enkeltvedtak om a) rett til spesialundervisning etter 5-1 i Opplæringsloven, og/eller b) rett til særskilt språkopplæring for språklige minoriteter etter 2-8 i Opplæringsloven (Retningslinjene, s. 9). Fritak gis imidlertid ikke automatisk til disse elevene, slik at skoleleder/lærer må vurdere i hvert enkelt tilfelle om det å ta prøven vil ha noen videre betydning for elevens opplæring. Hvis det å ta prøven vurderes som ikke å ha mye å si for elevens opplæring, kan eleven ifølge Retningslinjene fritas. Avgjørelsen skal fattes i samråd med elevens foresatte. De foresatte har samtidig mulighet til å overprøve skolens vurdering, slik at eleven likevel får gjennomføre prøven. Denne bestemmelsen gjør at fritak praktiseres ulikt på ulike skoler og i ulike kommuner, og får konsekvenser for hvor mange og hvilke elever som kan vurderes for fritak fra prøvene. Utdanningsdirektoratets holdning (i intervju med ledernivå og rådgivernivå) er at det er viktig og nødvendig at skoler gis frihet til selv å gjøre vurderinger av fritak innenfor de gjeldende rammer. «Disse vurderingene kan ikke gjøres sentralt av oss, fordi vi naturligvis ikke kjenner elevmassen,» sa en av dem under intervjuet. Innslaget av lokal vurdering og variasjon i fritaksbestemmelsene får samtidig konsekvenser for andre forhold som berører nasjonale prøver og muligheten for sammenligning av resultater mellom skoler og kommuner. I gjennomføringen av prøvene handler dette om tilrettelegging for elever som har lærevansker uten samtidig å falle inn under 5-1 eller 2-8 i Opplæringsloven. I sammenligning av resultater mellom skoler henger dette både sammen med påmelding av elever til prøvene og hvilke elever som «teller» når skolen kan legge frem sitt resultat, samt at ulik praktisering av fritaksreglene i seg selv vil kunne skape forskjeller i resultatene. Vi skal ta for oss disse konsekvensene i detalj nedenfor Tilrettelegging kan være nødvendig, men skal ikke virke prestasjonsfremmende Når det gjelder tilrettelegging for elever under prøvene, fastslår Retningslinjene at skolen skal sørge for slik tilrettelegging. Det skal imidlertid ikke legges til rette for ordninger som vil påvirke den ferdigheten som vil måles. Dette innebærer for eksempel at det ikke er anledning til å lese opp teksten i leseprøven eller engelskprøven, siden det er elevenes leseferdighet som måles. Prøvene finnes i versjoner for tegnspråk- eller punktskriftbrukere. Ut over dette må «skolen legge den enkelte elevs behov til grunn for spesielle ordninger» (Retningslinjene, s. 10). Også her gis det med andre ord lokal frihet, hvor en svak elev enten må ta prøven slik den foreligger, eller skolen må gjøre den tilretteleggingen som skolen kan få til uten at det går ut over elevens resultater på prøven. «Dette betyr at tilretteleggingen ikke skal være prestasjonsfremmende,» sier rådgivernivået i Utdanningsdirektoratet i intervjuet, «skolene skal tilrettelegge slik at den enkelte elev får vist hva han eller hun kan.» Korrekt utført prosedyre for påmelding til prøven skal sikre at fritaksandelen blir reell Når det gjelder påmelding til prøver og registrering av elevenes deltakelse, er dette regler som ikke gir rom for lokal vurdering. Alle elever på det aktuelle årstrinnet (5., 8. og 9. årstrinn) skal registreres som påmeldt til prøvene, og dette skal gjøres før det blir vurdert hvilke elever som skal fritas fra prøvene. Vi 44

47 ser imidlertid at Retningslinjene opererer med formuleringen «alle aktuelle elever» skal være påmeldt (s. 7), og spør om dette kan bidra til å skape forvirring på skolene. Først etter at alle elevene er meldt opp til nasjonale prøver, skal nemlig elever med enkeltvedtak om fritak fra en eller flere nasjonale prøver registreres i kategorien «fritatt». Elever som hadde gyldig fravær under gjennomføringen av prøvene (det vil si at de for eksempel var syke), skal registreres som «ikke deltatt». Her kan det lett oppstå forskjeller mellom skoler dersom man unnlater å melde på elever som man vurderer å frita, forteller rådgivernivået i Utdanningsdirektoratet under intervjuet. Da kan man ikke lenger se hvor stor del av det totale antallet elever som fikk fritak, og informasjonsverdien av resultatene som faktisk foreligger reduseres. Rådgiverne i direktoratet gir følgende resonnement om dette forholdet: Når skoleeier skal bruke resultatene til å vurdere om det skal settes inn tiltak i skolene, må resultatene være basert på de mest korrekte dataene som finnes. Hvis 10 % av elevene aldri ble registrert som påmeldte da trenger man jo heller ikke å frita dem. Og da ser det veldig pent ut på statistikken. Mens kommuner som har policy på at alle elevene skal være påmeldt, det tvinger frem en høyere fritaksprosent. Vi ser på kommunene som gjør dette ordentlig, at der går fritaket opp. Et spørsmål som kan reises ved presiseringen av regelverk om påmelding av alle elever fra høsten 2012 kan føre til et press på skoleleder om å frita færrest mulig elever. Vi kommer tilbake til dette i kapittel 5 og 6 der skoleledere og lærere uttaler seg om praktiseringen av regelverket for fritak Det er nødvendig at elever forberedes til nasjonale prøver Med hensyn til forberedelser til prøvene viser Retningslinjene til at Utdanningsdirektoratet har utviklet eksempeloppgaver til nasjonale prøver. Eksempeloppgavene er ikke fullverdige prøver, men gir elevene mulighet til å prøve seg på aktuelle oppgavetyper. Hensikten med oppgavene er at elevene skal bli kjent med oppgaveformatet og bli trygge på prøvesituasjonen før prøvene gjennomføres. I tillegg finnes det nasjonale prøver i regning og engelsk 8 fra tidligere år tilgjengelig på Utdanningsdirektoratets nettsider (Retningslinjene, s. 11). På ledernivå i Utdanningsdirektoratet blir det understreket at elevene bør være kjent med prøveformatet, og at dersom skolene ikke lar elevene få trene på oppgavetypen, kan det skade elevenes resultater. «Ut over dette er det egentlig ingen grunn til å tro at det vil gi bedre resultater å gjennomføre mange tidligere nasjonale prøver,» sier en av dem i intervjuet. «Her prøves de jo ikke i noe de kan pugge seg til,» sier en annen, mens begge understreker at det å lese og det å lese flest mulig forskjellige tekster aldri vil være feil verken med hensyn til opplæringens formål eller de grunnleggende ferdighetene som de nasjonale prøvene skal teste. «Du kan ikke øve til prøven i lesing, du kan bare øve på å bli en god leser. Sånn er jo prøvene litt snedig laget,» sier en av rådgiverne i direktoratet. På dette nivået blir det utdypet at dersom skolene endrer dagsorden slik at undervisningstilbudet blir skjevt, at elevene blir stresset og man legger andre og presumptivt viktige ting til side for å øve til prøvene, da blir øving et problem. Her understrekes nødvendigheten av at skolen arbeider kontinuerlig med å styrke elevenes grunnleggende ferdigheter, og at slike ferdigheter ikke kan læres med noen ukers innsats før prøven Prøveresultatene gir informasjon om gruppenivå Retningslinjene gjør videre rede for hvordan lærerne kan arbeide med å følge opp elevenes resultater. Her vises det til lærerveiledningene, som gir tips til hvordan lærer kan bruke resultatene på skolen i samarbeid med kolleger, i oppfølgingen av egen elevgruppe og i dialogen med enkeltelever og foresatte. Vi spurte rådgiverne i Utdanningsdirektoratet hvordan bedre veiledning konkret kunne hjelpe lærernes bruk av resultater i møtet med elevene. Her blir prøvenes verdi for gruppenivået av elever utdypet idet lærerne får mer informasjon om prøvenes vanskelighetsgrad og kunnskap om forventet grad av mestring basert på tidligere tester av oppgavene på representative utvalg av elever. «Hvis du som lærer får vite at på landsbasis klarte 45 % av elevene denne oppgaven, mens det viser seg at 90 % av elevene dine fikk til dette, da vet du at du kan konsentrere deg om andre ting,» sier en av 8 Nasjonale prøver i lesing inneholder rettighetsbelagte tekster, og kan derfor ikke ligge tilgjengelig på nettsidene på samme måte som prøvene i regning og engelsk. 45

48 rådgiverne. «Og motsatt: Hvis du får vite at den oppgaven som bare noen få av elevene dine klarte var en av de enkleste oppgavene i hele oppgavesettet, da har du en jobb å gjøre. Nå er vi mye mer sånn på med informasjonen,» fortsetter rådgiveren. «Dette gjør vi særlig i form av et Excel-ark der vi har lagt inn alle formlene, slik at lærerne kan legge inn elevenes resultater bare importere dem fra vårt system. Så får de opp områder der de må jobbe videre.» Sammenligning kun mellom lokale resultater og nasjonalt gjennomsnitt for inneværende år Til sist tar Retningslinjene for seg sammenligning av resultater. Her skal den nye utviklingen av prøvene fra høsten 2012 utvikling av trend gjøre det mulig å sammenligne aspekter ved resultatene over tid. Generelt advarer Retningslinjene mot å sammenligne lokale resultater med noe annet enn det nasjonale gjennomsnittet. 9 Prøvene er ikke like fra år til år, og de kan ha forskjellig fordeling av lette og vanskelige oppgaver. Små utvalg kan gi store utslag når man sammenligner, og det samme gjelder andelen fritak, står det i Retningslinjene (s. 21). Dette vil naturlig nok også ha konsekvenser for hvordan resultatene blir brukt, blant annet av media, når de offentliggjøres. Utdanningsdirektoratet publiserer resultater på kommunenivå, fylkesnivå og nasjonalt nivå, men Offentlighetsloven pålegger direktoratet å frigi resultater fra enkeltskoler så lenge enhetene ikke er for små og muligheten for å identifisere enkeltelever ikke er til stede. 3.4 Veiledninger til lærere Lærerveiledningene til nasjonale prøver består av i alt syv dokumenter, hvorav to av dem (lærerveiledningene til nasjonale prøver i regning på henholdsvis 5. og 8./9. årstrinn) har en ekstra del med forslag til oppgaver som læreren kan bruke i undervisningen. En generell og kortfattet brosjyre kalt «Hvordan bruke nasjonale prøver som redskap for læring?» fungerer som innledning til de seks fagveiledningene («Generell lærerveiledning»). Alle dokumentene er nye i 2012, men tekstutdrag har tidligere vært å finne i andre dokumenter som har styrt administrasjonen og gjennomføringen av nasjonale prøver. I den generelle lærerbrosjyren gjengis ikke noe formål med prøvene, mens mulighetene for å bruke prøvene som del av vurderingsarbeidet blir viet stor plass. Det fremheves at det er lærerens oppgave at elevene: - forstår hva de skal lære og hva som er forventet av dem - får tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen - får råd om hvordan de kan forbedre seg - er involvert i eget læringsarbeid ved blant annet å vurdere eget arbeid og egen utvikling Generell lærerveiledning 2012 (upaginert) I utdypingen av disse punktene står det (generelt om prøver og vurderinger) at elevene må få vite hensikten med prøven og hva den måler. Hensikten er å bruke resultatene til å se hvor de står, slik at læreren kan hjelpe elevene videre. Videre må elevene forberedes på oppgavetypene, de må få vite at noen oppgaver kan være ukjente og derfor vanskelige, og de skal få vite hva de kan gjøre hvis de ikke kan svare på oppgaver. Når elevene skal få tilbakemeldinger og råd om veien videre, fremholdes det i lærerbrosjyren at elevene kan få vite kvaliteten på det de har gjort, og hvordan de kan forbedre seg. Læreren må imidlertid se informasjonen fra prøvene i sammenheng med det han eller hun vet om elevene fra før. Informasjon skal deles med elever og foresatte, slik at de foresatte kan følge med på og støtte opp om 9 I tillegg til gjennomsnitt kan også standardavvik brukes til sammenligning. Standardavvik angir omfanget av avvik fra gjennomsnittet i gruppen av elever. Hvis standardavviket er lavt, ligger mange av elevenes resultater nær gjennomsnittet. Hvis standardavviket er høyt, er det mange elever som enten har prestert godt over eller betydelig under gjennomsnittet. 46

49 elevens utvikling. I brosjyren legges det vekt på at elevene bør involveres i arbeidet med oppfølging av prøven. Den samme teksten finnes igjen i hver av de seks lærerveiledningene som svarer til nasjonal prøve i lesing, engelsk og regning på henholdsvis mellomtrinnet (5. trinn) og ungdomstrinnet (8./9. trinn). Her formidles også formålet med prøvene, i kopi av teksten fra Kunnskapsdepartementets oppdragsbrev: «Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for kvalitetsutvikling i skolen.» Prøvenes primære funksjon som styringsredskap for skoler, skoleeiere samt det regionale og nasjonale nivået er ikke kommunisert like klart og nyansert som i Rammeverket og i Retningslinjene. Etter dette får lærerne presentert verktøy og tips til fremgangsmåter for oppfølging av resultater i lærerkollegiet, i elevgruppen og i møte med den enkelte eleven. Om det siste står det i lærerveiledningen til nasjonal prøve i lesing for 5. trinn: Mestringsnivåene kan brukes som et utgangspunkt i en samtale med eleven og i planleggingen av den videre oppfølgingen av elevene. I samarbeid med eleven kan du sette opp læringsmål for videre arbeid med ferdigheter i dine fag, og snakke om hvordan eleven kan nå målene. Det er viktig å fokusere på noen få, realistiske mål om gangen. Fokuser på hva som er neste steg i elevens utvikling. Lærerveiledning nasjonal prøve i lesing 5. trinn (s. 18). Mestringsnivåene (tre nivåer for 5. trinn, fem nivåer for 8./9. trinn) gjengis i veiledningen. Der beskrives mulige vanskeligheter som elevene kan oppleve, og hva elevene kan trene på. Formuleringene er generelle, og relaterer seg i veiledningsteksten ikke til bestemte oppgaver i prøven. Læreren må tolke elevens resultater i lys av de ulike mestringsnivåene, og tilpasse samtalen med sitt kjennskap til den enkelte elev. 3.5 Informasjon om nasjonale prøver til foreldre Utdanningsdirektoratet utgir også en foreldrebrosjyre. I foreldrebrosjyren står det at nasjonale prøver skal vurdere hvordan skolen lykkes med å utvikle elevenes grunnleggende ferdigheter i lesing og regning og deler av faget engelsk. Videre står det at «prøvene kan komme til nytte i den enkelte elevs utvikling i samarbeid mellom lærer, elev og foresatte.» Brosjyren informerer om reglene for fritak, rutiner for forberedelser av prøvene og hvordan resultatene blir kommunisert. 3.6 Sammenligning av omtale av prøvenes formål Så langt i dette kapittelet har vi sett at prøvene har et todelt formål, der styringsinformasjonen som prøvene kan gi ifølge Utdanningsdirektoratet må veie tyngre enn at prøvene kan være lærernes redskap for å følge opp resultatene i møte med den enkelte elev. I tabell 3.2 nedenfor viser vi dokumentenes fremstilling av prøvenes formål i de ulike dokumentene, som er beregnet på ulike målgrupper. 47

50 Tabell 3.2 Sammenligning av ulike formuleringer om nasjonale prøvers formål og hensikt Oppdragsbrev Rammeverk Retningslinjer Lærerbrosjyre (generell) Lærerbrosjyre (enkeltprøver) Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for kvalitetsutvikling i skolen. Foreldrebrosjyre Nasjonale prøver skal vurdere hvordan skolen lykkes med å utvikle elevenes grunnleggende ferdigheter i lesing og regning og deler av faget engelsk. Prøvenes formål De nasjonale prøvene skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål for de grunnleggende ferdighetene i regning og lesing på norsk og engelsk ( ), slik de er integrert i kompetansemål for fag i LK06 etter 4. og 7. årstrinn. Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. De nasjonale prøvene skal kartlegge i hvilken grad elevenes ferdigheter er i samsvar med læreplanens mål for de grunnleggende ferdighetene i regning og lesing på norsk og engelsk ( ). Prøvene skal gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedrings- og utviklingsarbeid. [Det er] begrensninger for hva en nasjonal prøveordning alene kan forventes å gi detaljert informasjon om. Informasjonen som de nasjonale prøvene vil gi om enkeltindividet vil ikke kunne være detaljert. De nasjonale prøvene kan i første rekke gi informasjon om gruppe og trinn til lærer, skoleleder-, kommune-, regionalt- og nasjonalt nivå. Formålet med nasjonale prøver er å vurdere i hvilken grad skolen lykkes med å utvikle elevenes ferdigheter i lesing, regning og i deler av faget engelsk. ( ) Prøvenes funksjon Informasjonen fra prøvene skal brukes som kvalitetsutvikling på skoler, hos skoleeiere og på regionalt og nasjonalt nivå. I tillegg skal prøveresultatene bidra til å styrke skolenes og lærernes underveisvurdering. Elevene bør forstå hva de skal lære og hva som er forventet av dem. Elevene bør få tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen Elevene bør få råd om hvordan de kan forbedre seg Elevene bør involveres i eget læringsarbeid ved blant annet å vurdere eget arbeid og egen utvikling Mestringsnivåene kan brukes som et utgangspunkt i en samtale med eleven og i planleggingen av den videre oppfølgingen av elevene. I samarbeid med eleven kan du sette opp læringsmål for videre arbeid med ferdigheter i dine fag, og snakke om hvordan eleven kan nå målene. Prøvene kan komme til nytte for den enkelte elevs utvikling i samarbeid mellom lærer, elev og foresatte. Hvis vi sammenligner formuleringene i tabell 3.2, ser vi at formålet med prøvene forenkles etter hvert som vi kommer nedover i hierarkiet av dokumenter, samtidig som prøvenes funksjon «flytter seg» fra å omtale resultatene som styringsinformasjon for skole, skoleeier, regionale og nasjonale myndigheter (Rammeverk, Retningslinjer) til å handle mer om hvordan prøveresultatene kan komme elevene til 48

51 gode i utviklingen av den enkeltes læringsarbeid (Retningslinjene, lærerveiledninger, foreldrebrosjyre). Det er naturlig at informasjonen tilpasses målgruppene, slik at prøvenes betydning for elevenes læringsarbeid forsterkes jo nærmere vi kommer elevnivået (lærere, foresatte), mens prøvenes funksjon som tilbakemelding og ansvarliggjøring av skoler og skoleeiere er tydelig i dokumentene som henvender seg til direktoratet, til skoleeierne og til skolelederne. Samtidig spør vi med Skedsmo (2011) om dette er en forenkling av kompleks informasjon som kan tilsløre viktige elementer i systemet og skape forventning om at prøvene kan brukes til formål hvor de ikke egner seg. 3.7 Oppsummering Vi har gjennom intervjuer og dokumentanalyser sett hva som står i et utvalg grunnlagsdokumenter for nasjonale prøver med særlig vekt på prøvenes formål, og vi har sett hvordan avdelingsleder- og rådgivernivå i Utdanningsdirektoratet tolker grunnlagsdokumentene. Vi har videre sett på veiledningsdokumenter myntet på lærere og foreldre, og hva disse dokumentene sier om prøvenes formål og hvordan lærerne anbefales å arbeide med resultater fra prøvene. Det formelle regelverket er presisert i 2012, særlig for å sikre rutiner ved påmelding og fritak av elever. Her er reglene klare og absolutte, selv om reglene for fritak er en såkalt «kan»-regel der skolelederne overlates ansvaret for den endelige vurderingen innenfor gitte rammer. Reglene er langt «rundere» og glir over i veiledning når det gjelder forberedelser til prøver og tilrettelegging. Med hensyn til tilrettelegging sies det noe om hva som er lov og ikke lov, men det gis ikke inntrykk av at eksemplene er uttømmende. Dokumentenes omtale av det å forberede elevene til prøvene er svært åpen. Det sies ikke noe om hva som ikke er lov, men gjennom våre intervjuer med ansatte i Utdanningsdirektoratet har vi trukket en tentativ grense mot drilling til prøvene som skyver på eller fortrenger annen type undervisning. Vi oppfatter dokumentenes omtale av forberedelser til prøvene som veiledende, dog med understrekning av at det både er lov og ønskelig å forberede elevene på prøveformen. Regelverket gir rom for lokalt skjønn og dermed for lokal variasjon. De formelle lærerveiledningene er revisjoner, sammenslåinger og utvidelser av tidligere dokumenter om nasjonale prøver myntet på samme målgruppe. Hensikten er å sette lærerne bedre i stand til å utnytte resultatene av prøvene, men uten å endre innholdet i selve prøvene. I veiledningene får lærerne innledningsvis kjennskap til overordnede krav til hvordan elevene skal forberedes og følges opp etter prøver for å maksimere sitt utbytte, men det utdypes ikke i veiledningene hvorvidt nasjonale prøver oppfyller (eller kunne oppfylt) disse generelle kravene. Lærerveiledningene har ulik grad av detaljnivå, hvor veiledningene for nasjonal prøve i regning høsten 2012 er den mest omfattende. Veiledningene søker å favne hvordan lærerne kan arbeide med resultatene av nasjonale prøver i lærerkollegiet, i elevgruppa og i møte med enkeltelever. Til grunn for oppfølgingen ligger mestringsnivåer og den kjennskap som læreren ellers har til eleven. I de følgende kapitlene skal vi se nærmere på hvorvidt skoleeiere, skoleledere og lærere mener at de har tilstrekkelig informasjon til å kunne administrere og gjennomføre prøvene, og hvordan de ulike målgruppene eventuelt fortolker informasjonen, hvordan de omsetter den i sitt eget miljø og hvordan de eventuelt bruker resultatene. Her kan prøvenes todelte formål og kommunikasjonen av disse formålene ha betydning for prøvenes legitimitet, for kvaliteten i gjennomføringen, for bruken av resultatene og for opplevd nytte av nasjonale prøver. 49

52

53 4 Fra skoleeiernes ståsted Det empiriske utgangspunktet for dette kapitlet er den elektroniske spørreundersøkelsen som ble gjennomført høsten 2012 blant et representativt utvalg av landets kommuner. Undersøkelsen er nærmere beskrevet i kapittel 2 og i rapporten fra undersøkelsen NIFU gjennomførte på vegne av Utdanningsdirektoratet der nasjonale prøver var ett blant flere temaer (Vibe og Hovdhaugen 2012). Ved offentlige skoler er det skoleeier som har det overordnede ansvaret for gjennomføring av nasjonale prøver i sin kommune, mens det er skoleleder som er ansvarlig for gjennomføring av prøvene på sin skole (Retningslinjene, s. 4). 10 Vår gjennomgang av skoleeiers oppgaver er delt inn i oppgaver før gjennomføring og etter gjennomføring av de nasjonale prøvene. I gjennomgangen er det relevant å spørre om hvordan skoleeiernivået oppfatter sin rolle i å informere og veilede om prøvene, men også om hvordan det kontrolleres at forberedelser og gjennomføring av prøver foregår på korrekt måte. Videre er det interessant å undersøke hvordan skoleeier eventuelt benytter seg av dataene fra skolenivå for å utvikle grunnskolen i kommunen. Her er prøvene som målings- og styringsverktøy mest sentralt (Bachmann m.fl. 2008; Skedsmo 2011). Hovedpunkter i kapittel 4 Kvantitative delfunn De aller fleste kommuner bruker styringsdialogen mellom skoleeier og skoleledere for å informere og veilede om nasjonale prøver. De viktigste punktene i informasjonen fra skoleeier gjelder hensikten med nasjonale prøver, råd om bruk av prøveresultatene og forvaltning av fritaksbestemmelsene. Under en tredjedel av kommunene kontrollerer at skolene har fulgt fritaksreglene. Kvantitative hovedfunn Et hovedinntrykk er at kommunene i større grad følger opp plikten til å minne skolene om deres oppgaver og å gi og videreformidle informasjon, enn å veilede skolene og å kontrollere deres arbeid. De største kommunene følger opp arbeidet med de nasjonale prøvene i betydelig større grad enn de minste, og det gjelder særlig de delene av arbeidet som vi kaller veiledning og kontroll. Det går et geografisk skille mellom Østlandet på den ene siden, og særlig hovedstadsområdet, og resten av landet på den andre når det gjelder engasjement og vurdering av prøveresultatenes viktighet. 10 Nasjonale prøver: Veiledning til skoleeiere og skoleledere med retningslinjer for gjennomføring (Utdanningsdirektoratet 29. august 2012). 51

54 4.1 Før gjennomføring av prøvene Før gjennomføring av prøvene skal skoleeier ivareta bestemte oppgaver, slik de er oppsummert i tabell 4.1, venstre kolonne. I høyre kolonne oppsummeres skoleleders oppgaver, slik at vi kan se grensene mellom de to nivåenes ansvar. Allerede det første punktet i tabellen, som gjelder påmelding, krever en oppklaring. I selve teksten i Retningslinjene står det at «skoleleder skal registrere alle elever på 5., 8. og 9. trinn i PAS» og at «Påmelding av alle elever skal skje før det blir vurdert hvilke elever som skal fritas fra prøvene» (Retningslinjene, s. 9). Det framgår ikke hvordan begrepet «aktuelle elever» i første punkt i tabellen skal forstås i forbindelse med påmelding når påmeldingen faktisk skal gjelde alle elever. I det første punktet brukes formuleringen «se til at» om skoleeiers rolle, mens skolelederne skal «sørge for at» elevene er påmeldt. Siden veiledningstekstens punkt 2.3 om påmelding og registrering av status ikke beskriver konkrete oppgaver for skoleeier når det gjelder påmelding, er det rimelig å tolke begrepet «se til at» i oppsummeringen av oppgavene som at skoleeier skal gjøre skolelederne klar over sine oppgaver, informere om oppgavene og eventuelt kontrollere at oppgavene blir gjennomført på skolene slik veiledningen beskriver. Tabell 4.1 Oversikt over skoleeiers ansvar før gjennomføringen av nasjonale prøver. Skoleeier skal Se til at alle aktuelle elever i kommunen er påmeldt i prøveadministrasjonssystemet Ha lest denne veiledningen og innholdet om nasjonale prøver på Utdanningsdirektoratets nettside Sørge for at skolene kjenner til lærerveiledningene og eksempeloppgavene på Utdanningsdirektoratets nettside Sørge for at gjennomføringen av nasjonale prøver i kommunen er i tråd med de retningslinjene som er gitt i denne veiledningen Holde seg oppdatert på viktige meldinger på Utdanningsdirektoratets nettside Sørge for at skolene har tilstrekkelige tekniske og menneskelige ressurser til å kunne gjennomføre nasjonale prøver etter føringene i denne veiledningen Være tilgjengelige for skoler i kommunen når de trenger veiledning og støtte til å forberede gjennomføringen Ha lest brukerveiledningen til PAS/PGS *) Ha gode kjennskap til PAS/PGS og yte brukerstøtte til sine skoler *) *) PAS/PGS inngår ikke i denne evalueringen Skoleleder skal Sørge for at alle aktuelle elever er påmeldt i PAS Ha lest denne veiledningen og kjenne til veiledningen til lærerne og eksempeloppgavene til nasjonale prøver Sørge for at lærerne på skolen kjenner til innholdet i lærerveiledningene og eksempeloppgavene på Utdanningsdirektoratets nettsider Sørge for at gjennomføringen av nasjonale prøver på skolen er i tråd med de retningslinjene som er gitt i denne veiledningen Holde seg oppdatert på viktige meldinger på Utdanningsdirektoratets nettside Sørge for at foresatte er informert om gjennomføringen, og at foreldrebrosjyren blir delt ut i god tid før gjennomføringen Være tilgjengelig for lærerne når de trenger hjelp og støtte til å forberede gjennomføringen Ha lest brukerveiledningen til PAS/PGS Ha god kjennskap til PAS/PGS og yte brukerstøtte til sine lærere (Kilde for tabellen: Retningslinjene s. 7) Formuleringen «sørge for at» brukes om skoleeiers oppgaver i forbindelse med tre punkter, nemlig at skolene kjenner til lærerveiledningen og eksempeloppgavene (punkt 3), at gjennomføringen av prøvene er i tråd med retningslinjene (punkt 4) og at skolene har tilstrekkelige tekniske og menneskelige ressurser til å gjennomføre prøvene (punkt 6). Det er rimelig å tolke formuleringen «sørge for at» som hovedsakelig å gjelde informasjon når det gjelder punkt 3, kontroll når det gjelder punkt 4 og ressurstildeling når det gjelder punkt 6. Punkt 7, som gjelder tilgjengelighet for veiledning, stiller også et krav til skoleeier om å bruke nødvendige ressurser for å støtte skolene i deres arbeid. De nevnte oppgavene har imidlertid en felles forutsetning, nemlig at det er en nær kontakt og dialog mellom skole og skoleeier slik at ikke bare skolen har nødvendig informasjon om hvordan prøvene skal gjennomføres, men også at skoleeier kjenner til, i til dels ganske detaljert grad, hvordan arbeidet med prøvene blir gjort ved skolene. 52

55 4.1.1 Informasjon og veiledning til skolene fra skoleeier Kommunene har som skoleeier en viktig rolle som informasjonskilde og veileder for grunnskolene i deres arbeid med de nasjonale prøvene. Dette for at skolene skal få «passe mye» informasjon, men også for at skolene skal ha tilstrekkelig kompetanse og evne til å vite hva som er mest egnet for å utvikle skolen (Møller og Ottesen 2010). Flere av punktene i tabell 4.1 ovenfor gjelder, direkte eller indirekte, formidling av informasjon. For å kartlegge hvordan dette følges opp i praksis har vi stilt kommunene en rekke spørsmål om hva slags informasjon de gir til sine skoler og hvordan de veileder dem. Tabell 4.2 viser at 92 prosent av kommunene informerer og veileder gjennom styringsdialogen med skolelederne, for eksempel i rektormøter. Alle de større kommunene gjør dette, og 83 prosent av de minste følger opp gjennom styringsdialogen, det vil si fem av seks blant de minste kommunene. Tabell 4.2 Hva slags kanaler bruker skoleeier for å informere og veilede skolene om nasjonale prøver? Andel som svarer «ja». Etter kommunestørrelse. Vi informerer og veileder skolene om nasjonale prøver. Under og mer Alle gjennom styringsdialogen med skolelederne 83 % 93 % 100 % 92 % (rektormøter)... gjennom brev eller rundskriv til skolene 43 % 51 % 51 % 48 % gjennom våre nettsider 5 % 7 % 29 % 13 % ved å tilby skolene kurs eller seminarer 8 % 12 % 40 % 19 % Antall (N=) Halvparten av kommunene informerer og veileder gjennom brev eller rundskriv til skolene. Her er det ubetydelige forskjeller mellom kommunene etter størrelse. 13 prosent av kommunene bruker sine egne nettsider som informasjonskilde overfor skolene. Her betyr kommunenes størrelse mye, ved at 29 prosent av de største kommunene gjør dette, mot bare fem prosent av de minste. Endelig tilbyr 19 prosent av kommunene kurs eller seminarer om nasjonale prøver. Også her er det betydelige forskjeller etter størrelse. 40 prosent av de største kommunene gjør dette, mot bare åtte prosent av de minste. Vi finner også forskjeller mellom landsdelene når det gjelder informasjon og veiledning for skolene, men disse forklares nok for en stor del av at folketall i kommunene varierer mellom landsdelene. Derfor er skoleeiere i Oslo og Akershus mest aktive, mens vi finner de minst aktive i Midt- og Nord-Norge. Det finnes andre måter å informere og veilede på enn de fire formene vi har stilt konkrete spørsmål om. En del av kommunene har gitt et mer utfyllende svar, og de fleste av dem nevner rektormøter og ledermøter, som jo allerede er en egen svarkategori. Dessuten nevner flere at de har møter med hver enkelt skole, og da ikke nødvendigvis bare med skoleleder: Vi informerer og veileder skolenes ledergrupper i årlige utviklings- og oppfølgingssamtaler. En skolefaglig rådgiver følger opp skolene i forhold til resultatanalyse. Enkelte kommuner benytter dessuten anledningen til å understreke at arbeidet med nasjonale prøver først og fremst er hver enkelt skoles ansvar og at informasjon også skal gå fra skole til skoleeier: Skolen har et sjølstendig ansvar for gjennomføring av nasjonale prøver. Resultat inngår i skolens tilstandsrapport som legges fram for kommunestyret. Kommunene er også bedt om å spesifisere nærmere hva som er hovedinnholdet i den informasjonen og veiledningen som skolene får fra dem (figur 4.1). 53

56 Figur 4.1 Hva er hovedinnholdet i informasjonen og veiledningen som skolene får fra kommunen? Andel som svarer «ja». Etter kommunestørrelse. Det vanligste innholdet i informasjonen og veiledningen fra skoleeier til skole er hensikten med nasjonale prøver, som 79 prosent av kommunene nevner, råd om bruk av resultatene (73 prosent) og forvaltning av fritaksbestemmelsene (68 prosent). Det minst vanlige er teknisk veiledning om hvordan elevene skal bruke datateknologi, som bare 19 prosent har svart. De ganske få som har svart «annet» (ikke vist i figuren) oppgir blant annet at dette kan være videreformidling av informasjon fra Utdanningsdirektoratet, at de ikke har noe rolle i denne forbindelse eller at de ikke informerer utover det som gjelder tidspunkt for prøvene. Med ett unntak, som gjelder informasjon om hensikten med prøvene, er det en systematisk sammenheng mellom folketallet i kommunen og andelen som har krysset av for de enkelte alternativene. Mens for eksempel halvparten av de minste kommunene informerer og veileder og fritaksbestemmelsene, gjør 89 prosent av de største kommunene dette. Bare 20 prosent av de minste kommunene gir skolene veiledning om bruk av datateknologi ved administrasjonen av prøvene, mens over halvparten av de største kommunene gjør dette. Så langt har vi sett at så godt som alle kommuner informerer og veileder sine skoler gjennom styringsdialogen, for eksempel ved rektormøter. På den måten må de kunne sies å ivareta en viktig del av sitt ansvar for å gi informasjon og veiledning gjennom direkte dialog. Omtrent halvparten av kommunene informerer gjennom brev og rundskriv mens det er langt mindre vanlig å bruke kommunens nettsider eller tilby kurs og seminarer, spesielt i små kommuner. Generelt er det slik at skoleeier har en langt mer aktiv rolle som informasjonskanal og veileder i de største kommunene sammenliknet med de minste. Situasjonen for skoler i små kommuner framstår dermed som svært forskjellig fra hva skoler i større kommuner opplever og dette kan være et problem. 54

57 Her er det likevel viktig å ha klart for seg at små kommuner har få skoler, mens store kommuner har mange. 60 prosent av skolene ligger i kommuner med mer enn innbyggere, som stort sett ser ut til å ivareta sine oppgaver på en tilfredsstillende måte, mens 13 prosent ligger i de minste kommunene der det er langt større variasjon i hvordan informasjons- og veiledningsoppgaven følges opp. Da blir bildet et noe annet når vi ser det fra skolenes side, og situasjonen med lite informasjon og veiledning fra skoleeier gjelder dermed ikke så mange skoler Eget informasjonsmateriell fra kommunene er uvanlig Å utarbeide eget informasjons- eller øvingsmateriell er ikke særlig vanlig (tabell 4.3). Bare 8-9 prosent av kommunene utarbeider eget informasjonsmateriell til elever eller foresatte, og her er det ingen forskjell mellom små og store kommuner. Utarbeiding av eget øvingsmateriell finner vi bare et par eksempler på. Dette harmonerer godt med hva skolelederne forteller (se kapittel 5). Bare tre prosent av skolelederne bruker øvingsmateriell som kommunen har laget for å forberede elevene til nasjonale prøver. Tabell 4.3 Utarbeider kommunen informasjons- og øvingsmateriell? Andel som svarer «ja». Etter kommunestørrelse. Utarbeider kommunen et eget Under og mer Alle... informasjonsmateriell til elevene om nasjonale prøver? 8 % 9 % 11 % 9 %... informasjonsmateriell til elevenes foresatte om nasjonale prøver? 8 % 12 % 6 % 8 % øvingsmateriell for nasjonale prøver som skolene kan bruke? 0 % 5 % 0 % 2 % Antall (N=) Oppfølging av påmelding til prøvene Av Retningslinjene framgår det at skoleeier skal «se til at alle aktuelle elever i kommunen er påmeldt i prøveadministrasjonssystemet PAS». Dette tolker vi imidlertid ikke slik at kommunen skal sørge for selve påmeldingen på skolens vegne, noe som formelt sett ville være i strid med dokumentets punkt 2.3, som sier at skoleleder skal registrere elevene. Likevel tar fire prosent av kommunene (tabell 4.4) på seg denne oppgaven. Man kunne kanskje tenkt seg at dette var mest aktuelt i små kommuner som kanskje har bare en eller to skoler, men det viser seg at det motsatte er tilfelle. De fem kommunene det gjelder er alle mellomstore eller store og de har til sammen 78 skoler. Tabell 4.4 Hvordan følger kommunen opp skolenes påmelding av elever til nasjonale prøver? Andel som svarer «ja». Etter kommunestørrelse. Under og mer Alle Vi minner skolene om reglene for påmelding til nasjonale prøver 80 % 86 % 89 % 85 % Vi veileder skolene i reglene for påmelding til nasjonale prøver 48 % 51 % 77 % 58 % Vi kontrollerer at skolene har fulgt reglene for påmelding til nasjonale prøver 35 % 49 % 54 % 46 % Vi sørger for påmelding til nasjonale prøver på skolens vegne 0 % 5 % 9 % 4 % Annet 5 % 2 % 17 % 8 % Antall (N=)

58 85 prosent av kommunene minner skolene om reglene for påmelding til nasjonale prøver. Her er det ingen forskjell av betydning mellom små og store kommuner. Slike forskjeller fremkommer derimot når det gjelder veiledning i reglene for påmelding, noe 48 prosent av de minste kommunene gjør, mot 77 prosent av de største. Betydelig forskjell mellom små og store kommuner er det også når det gjelder kontroll av skolene. En av tre små kommuner kontrollerer skolenes praksis, mot drøyt halvparten av de største kommunene. De kommunene som har krysset av for «annet» kan fortelle om ulike former for og grader av oppfølging, fra at det ikke gis noen spesiell oppfølging til langt mer systematiske rutiner: Vi avholder workshop for skolene hvor de kan utføre arbeidet med påmelding av elever til NP. Vi utarbeider veiledninger i hvordan skolene kan utføre påmelding til prøvene. Vi har hatt nasjonale prøver som punkt i tilsynsbesøkene i 2010 og 2011, bl.a. for å legge press på at alle de elever som kan, skal ta prøvene. Vi ser nøye på fritaksprosenten ved den enkelte skole, og tar samtale om dette, uten at jeg vil kalle dette for direkte kontroll. Vi kan her konkludere med at «å se til at alle aktuelle elever» er påmeldt ikke innebærer at kommunen selv skal utføre denne oppgaven, men at de skal ha visshet om at dette blir gjort. Den vissheten skaffer de fleste seg ved å minne skolene om reglene, mens knapt halvparten kontrollerer at reglene faktisk blir fulgt. Igjen er det slik at skoler i store kommuner gjennomgående følges tettere opp av skoleeier enn skoler i små kommuner Praktisering av fritaksreglene Retningslinjene om skoleeiers ansvar for påmelding i PAS bruker begrepet «alle aktuelle elever». Vi har allerede bemerket at begrepet «aktuelle» kan skape uklarhet om hvem som skal meldes på, men siden punkt 2.3 i dette dokumentet er helt klar på at alle skal meldes inn i systemet, tolker vi «alle aktuelle» som å bety «alle elever ved skolen». Neste trinn i prosessen gjelder å avgjøre hvilke elever som skal gjennomføre prøvene. Det er bare to kategorier elever som kan vurderes for fritak, nemlig elever som allerede har enkeltvedtak om rett til spesialundervisning og de som har enkeltvedtak om rett til særskilt språkundervisning (Retningslinjene, s. 9). Disse elevene skal imidlertid ikke automatisk gis fritak. For at skolene skal kunne utføre oppgaven med vurdering av fritak på en forsvarlig måte, må skoleeier sørge for at fritaksreglene er kjent og praktiseres som forutsatt. Vi har derfor spurt kommunene om hvordan de følger opp dette (tabell 4.5). Det viser seg at 81 prosent minner skolene om fritaksreglene, mens 58 prosent gir veiledning i reglene. Det er ingen variasjon etter kommunestørrelse når det gjelder påminnelser, men betydelig variasjon for veiledning. Det er ingen geografisk variasjon i disse forholdene. Tabell 4.5 Hvordan orienterer kommunen skolene om regler for fritak fra nasjonale prøver? Andel som svarer «ja». Etter kommunestørrelse. Hvordan orienterer kommunen skolene om regler for fritak fra nasjonale prøver? Under og mer Alle Vi minner skolene om reglene for fritak fra nasjonale prøver 85 % 72 % 86 % 81 % Vi veileder skolene i reglene for fritak fra nasjonale prøver 35 % 60 % 80 % 58 % Vi kontrollerer at skolene har fulgt reglene for fritak fra nasjonale prøver (at enkeltvedtak er korrekt utferdiget) 18 % 42 % 31 % 31 % Annet, vennligst beskriv i kommentarfeltet nedenfor 5 % 9 % 17 % 10 % Antall (N=)

59 31 prosent kontrollerer at skolene har fulgt fritaksreglene, og her er andelen høyest i de mellomstore kommunene og lavest i de små kommunene. Vi finner heller ikke her geografiske forskjeller. Hver tiende kommune, og 17 prosent blant de største, har oppgitt andre former for veiledning når det gjelder regelverket for fritak. Det vanligste her er å framheve at det foregår en dialog som sikrer at regelverket blir forstått og fulgt: Kommunalsjefen for oppvekst og skolefaglig rådgiver har dialog med rektorene i rektormøter som avholdes hver 14 dag. Vi kvalitetssikrer gjennom oppfølging av fritaksprosent i årlige utviklingssamtaler. Vi tar stikkprøver gjennom tilsyn på vedtak I enkelte tilfeller går også dialogen utover kommunegrensene. Vi har også regionale samlinger over kommunegrensene. Også når det gjelder fritaksreglene mener dermed de fleste av kommunene at de ivaretar sitt ansvar for at reglene blir fulgt gjennom å minne skolen om reglene, mens bare hver tredje kommune kontrollerer at skolene har fulgt reglene. Flertallet av skoleeierne heller med andre ord mer mot informasjon og veiledning om nasjonale prøver enn mot kontroll av de formaliserte reglene om påmelding og fritak. 4.2 Etter gjennomføringen av prøvene Skoleeier og skoleleder har ansvar for bestemte arbeidsoppgaver også etter at nasjonale prøver er gjennomført. Dels dreier dette seg om de tekniske oppgavene knyttet til registrering av skriftlige leseprøver og elevstatus etter prøvene, dels videre oppfølging av resultatene på skolenivå og i den enkelte skole Registrering av elevstatus etter prøvene I Retningslinjene som går til skoleeiere og skoler oppsummeres to praktiske oppgaver som skal ivaretas etter gjennomføringen av nasjonale prøver (tabell 4.6). Disse to oppgavene er knyttet til registrering av resultatene av nasjonale prøver og registrering av elevstatus etter prøvene. Ettersom Retningslinjenes punkt 4.1 er helt klart på at det er skolen som skal registrere resultatene fra de skriftlige leseprøvene (Retningslinjene, s. 14), er det rimelig å tolke formuleringen «se til at» i det første punktet som at skoleeier skal informere om hvordan dette arbeidet skal gjøres og eventuelt kontrollere at det er gjort i tråd med reglene. Det andre punktet pålegger skolen det praktiske ansvaret også for registrering av elevstatus der det skilles mellom tre kategorier av elever og der det ut fra veiledningen for øvrig er underforstått at alle elever skal knyttes til én kategori. Skoleeier skal på sin side «sørge for at» antallet elever i PAS stemmer overens med det reelle elevtallet. «Sørge for at» kan her tolkes som at skoleeier selv kontrollerer i PAS at tallene stemmer for skolene og for kommunen som helhet, og stemmer ikke tallene, må skoleeier bringe klarhet i hvorfor de ikke stemmer og sørge for at de korrigeres. Da må skoleeier tilbake til den enkelte skole og «sørge for at» registreringsarbeidet kontrolleres og eventuelle feil rettes opp. 57

60 Tabell 4.6 Skoleeiers og skoleleders ansvar for registrering etter nasjonale prøver. Skoleeier skal Se til at alle resultatene fra leseprøvene blir registrert innen fristen, se punkt 2.1. Sørge for at antallet elever registrert i PAS stemmer overens med det reelle elevtallet på skolene og i kommunen. (Kilde: Retningslinjene s. 14) Skoleleder skal Sørge for at alle resultatene fra leseprøvene blir registrert innen fristen, se punkt 2.1. Sjekke registreringen av fritatt og ikke deltatt. Det er tre kategorier som gjelder: 1. «gjennomført» - alle som har gjennomført og levert prøven sin 2. «fritatt» - elever som er fritatt etter reglene i punkt 2.3 om individuelt fritak 3. «ikke deltatt» - elever som er fraværende på prøvedagen/i prøveperioden, og som ikke har hatt mulighet til å gjennomføre prøven innenfor prøveperioden Vi har stilt skoleeierne fire spørsmål praksis knyttet til reglene for registrering av elevstatus etter prøvene og om de selv påtar seg dette registreringsarbeidet på vegne av skolene. Tabell 4.7 Hvordan orienterer kommunen skolene om registrering av elevstatus (deltatt, ikke deltatt, fritatt eller manglende resultat) etter gjennomføring av nasjonale prøver? Andel som svarer «ja». Etter kommunestørrelse. Under og mer Alle Vi minner skolene om reglene for registrering av elevstatus etter nasjonale prøver 55 % 65 % 69 % 63 % Vi veileder skolene i reglene om registrering av elevstatus etter nasjonale prøver 33 % 42 % 71 % 47 % Vi kontrollerer at skolene har fulgt reglene for registrering av elevstatus etter nasjonale prøver 20 % 42 % 49 % 36 % Vi sørger for registrering av elevstatus etter nasjonale prøver på skolens vegne 3 % 2 % 9 % 4 % Annet, vennligst beskriv i kommentarfeltet nedenfor 5 % 5 % 9 % 6 % Antall (N=) prosent av kommunene oppgir at de minner skolene om reglene for registrering av elevstatus etter nasjonale prøver, og andelen er litt høyere i de største kommunene sammenliknet med de minste. Snaut halvparten veileder skolene i disse reglene og her er forskjellen mellom store og små kommuner betydelig. En av tre små kommuner gir slik veiledning mot 71 prosent av de største. 36 prosent av kommunene kontrollerer at skolene har fulgt reglene. Her svarer halvparten av de største skolene bekreftende, mot bare hver femte av de små kommunene. Det er svært uvanlig å registrere elevstatus på vegne av skolene, noe bare fire prosent av kommunene gjør. Det er ikke nødvendigvis de samme kommunene som tar seg av denne oppgaven på vegne av skolene som også foretar påmelding av elevene. Endelig peker seks prosent på andre forhold av betydning for registrering av elevstatus og flere av disse går i retning av å identifisere dette som skolenes ansvar. Hos oss er det drevne folk på skolen som styrer dette. Skoleledelsen har et sjølstendig ansvar for å gjøre dette. Registrering av elevstatus etter gjennomføring av nasjonale prøver er skolenes ansvar, mens skoleeier i praksis er pålagt å kontrollere at dette arbeidet er korrekt utført og at elevtallet stemmer. 58

61 Langt fra alle kommuner gjør dette, men det ser ut til at de større kommunene følger dette opp i betydelig større grad enn de små kommunene Videre oppfølging av resultatene fra nasjonale prøver Den videre oppfølgingen av resultatene fra nasjonale prøver fra kommunenes side er oppsummert i tabell 4.8. Veiledningen pålegger kommunene generelt sett å følge opp resultatene, vurdere om tiltak bør settes inn på kommunenivå eller på den enkelte skole og se til at skolene selv bruker resultatene. Det er her vi kan i hvilken grad prøvene brukt som målings- og styringsverktøy på skoleeiernivå, samtidig som vi fra tidligere undersøkelser vet at oppfølging vil variere mellom kommuner (Skedsmo 2011). Tabell 4.8 Oversikt over skoleeiers og skoleleders ansvar etter gjennomføringen av nasjonale prøver. Skoleeier skal Følge opp resultatene på kommunenivå. Vurdere om det skal innføres tiltak for å bedre resultatene på kommunenivå. Vurdere om enkelte skoler trenger særskilt støtte til å følge opp resultatene. Se til at skolene analyserer og bruker resultatene. (Kilde: Retningslinjene s. 14) Skoleleder skal Sørge for at antallet elever registrert i PAS stemmer overens med det reelle elevtallet på skolen. Følge opp resultatene på skolenivå i det lokale forbedrings- og utviklingsarbeidet. Legge til rette for at alle lærere følger opp resultatene i klassen. Sørge for at elevene og foreldrene får tilbakemelding om resultatene, og at dette sees i sammenheng med annen relevant vurderings-informasjon som læreren har fra før. Kommunene er bedt om ta stilling til to påstander som på ulik måte skal gi et mer generelt inntrykk av hvordan skoleeier arbeider med nasjonale prøver og hvilken vekt de tillegger prøvene (tabell 4.9).. Den første påstanden gjelder hvor mye arbeid skoleeier legger ned for å styrke skolene i forberedelsene til nasjonale prøver. Vi har inkludert dette spørsmålet her fordi vi mener at innsats i forberedelser kan si oss noe mer om hvilken vekt skoleeier legger på nasjonale prøver i utviklingen av grunnskolen i kommunen. Svarfordelingen på dette utsagnet viser stor variasjon, ved at omtrent like mange er enig som uenig. I det andre utsagnet har vi bedt skoleeier bedømme selv hvor viktig nasjonale prøver er for arbeidet med utvikling av grunnskolen. Her er 86 prosent litt eller helt enig i at resultatene fra prøvene er viktige. Det er altså flere skoleeiere som synes at resultatene er viktige enn det er skoleeiere som mener at de selv gjør en stor innsats for å styrke skolene i forberedelsene. Svarene kan gi en indikasjon på hvor tett kontakten og samarbeidet mellom disse to nivåene er i arbeidet med nasjonale prøver, der skillet går mellom skoleeiere som tar et ansvar for å følge opp skolene i forberedelsene, og skoleeiere som snarere bare mottar resultatene til videre analyse. Tabell 4.9 Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Helt uenig Litt uenig Både /og Litt enig Helt enig Sum Antall (N=) Som skoleeier legger kommunen ned mye arbeid i å styrke skolene i forberedelsene til nasjonale prøver 18 % 20 % 23 % 28 % 11 % 100 % 116 Resultatene fra nasjonale prøver er viktige for skoleeiers utvikling av grunnskolen 1 % 2 % 12 % 38 % 48 % 100 % 117 I tabell 4.10 har vi forenklet tabell 4.10 ved bare å oppgi andelen som er litt eller helt enig og samtidig brytes materialet ned etter kommunestørrelse. Tabellen viser at det er svært stor forskjell etter kommunestørrelse når det gjelder hvor mye arbeid de legger ned i å styrke skolene i forberedelsene til nasjonale prøver. Andelen som er enig i utsagnet er bare 18 prosent i de minste kommunene mens den er 62 prosent i de største. Spørsmålet gjelder forberedelsene til prøvene, men vi vil anta at det 59

62 avspeiler skoleeiers engasjement overfor skolene mer generelt. Enigheten om at prøveresultatene er viktige er mye større, selv om det også her er en forskjell etter kommunestørrelse. Tabell 4.10 Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Andel som er litt eller helt enig. Etter kommunestørrelse. Under og mer Alle Antall (N=) Som skoleeier legger kommunen ned mye arbeid i å styrke skolene i forberedelsene til nasjonale prøver 18 % 40 % 62 % 39 % 116 Resultatene fra nasjonale prøver er viktige for skoleeiers utvikling av grunnskolen 75 % 91 % 91 % 85 % 117 Når vi finner mye større forskjeller etter kommunestørrelse for skoleeiers engasjement overfor skolene i forberedelsene enn når det gjelder interesse for resultatene, virker dette logisk. Å arbeide for å styrke skolene i forberedelsene krever et aktivt engasjement og bruk av ressurser, noe som kan være mer krevende for små kommuner enn for store. Å interessere seg for resultatene og se på dem som viktige for utviklingen av grunnskolen krever ikke bruk av ressurser på samme måte. Resultatene er lett tilgjengelige, uavhengig av hvor mye skoleeier måtte ha engasjert seg i forberedelser, gjennomføring og etterarbeid, og de kan brukes i utviklingsarbeidet i grunnskolen, nær sagt uansett hvilket ambisjonsnivå skoleeier måtte ha for dette arbeidet i sin kommune. Et viktig forhold som kan forklare hvorfor små kommuner er noe mer tilbakeholdne enn store når det gjelder å vurdere viktigheten av resultatene fra nasjonale prøver er at de minste kommunene har så få elever på hvert årstrinn at usikkerheten knyttet til resultatene blir stor. Ca. 70 kommuner, eller hver sjette kommune, har færre enn 20 elever pr årstrinn. Vi vet ikke om det er bevissthet om dette i de små kommunene, men det er all mulig grunn til at små kommuner, og små skoler, bør se på resultatene med større skepsis enn store kommuner og store skoler. Dette vil bli mer utførlig drøftet i kapittel 8. En annen faktor er at små kommuner kan mangle kompetanse og/eller skolefaglige ressurser til et slikt videre arbeid med resultatene. Våren 2009 ble et utvalg av skoleeiere stilt en del spørsmål om forberedelser til nasjonale prøver og bruk av resultatene Følgende spørsmål ble blant annet stilt: «Bruker skoleeier resultatene fra nasjonale prøver som strategisk grunnlag for planarbeidet i kommunen?». 79 prosent svarte bekreftende på dette og andelen var 67 prosent i de minste kommunene og 95 prosent i de største (Vibe, Evensen og Hovdhaugen 2009:19). Svarmønsteret er dermed ganske likt som for den påstanden som skoleeierne nå er bedt om å ta stilling til: «Resultatene fra nasjonale prøver er viktige for skoleeiers utvikling av grunnskolen», noe som tyder på at viktigheten av prøvene anses som å være omtrent den samme som for tre fire år siden og at forskjellen mellom små og store kommuner synes å være uforandret. I tabell 4.11 repeterer vi de samme to spørsmålene, men denne gangen skilles det mellom landsdeler. Tabell 4.11 Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Andel som er litt eller helt enig. Etter landsdel. Oslo og Sør- og Akershus Øst-Norge Vest-Norge Midt- og Nord- Norge Antall (N=) Alle Som skoleeier legger kommunen ned mye arbeid i å styrke skolene i forberedelsene til nasjonale prøver 71 % 38 % 40 % 32 % 39 % 116 Resultatene fra nasjonale prøver er viktige for skoleeiers utvikling av grunnskolen 100 % 97 % 81 % 79 % 85 %

63 Vi ser at det går et skille mellom Oslo-området og resten av landet når det gjelder hvor mye arbeid kommunene legger ned i forberedelser. Selv om Oslo og Akershus her bare omfatter sju kommuner, kan vi fastslå at kommunene her står i en særstilling. For spørsmålet om viktigheten av resultatene av prøvene går skillet mellom Østlandet, inkludert hovedstadsområdet, og resten av landet. Selv om forskjellen her er mindre enn for det første utsagnet, er også denne statistisk signifikant. På Østlandet er 35 av 36 kommuner enig i utsagnet, mens dette gjelder 65 av 81 i resten av landet Styring av tidsbruk og økonomiske sanksjoner Vi har stilt ytterligere fire spørsmål av relativt spisset karakter for å avdekke i hvilken grad skoleeier griper direkte styrende inn i skolenes arbeid med nasjonale prøver (tabell 4.12). De to første spørsmålene gjelder skolenes tidsbruk når det gjelder forberedelser til nasjonale prøver, mens de to siste gjelder bruk av økonomiske virkemidler. For disse utsagnene er svarfordelingen til dels svært skjev. Tabell 4.12 Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Andel som er litt eller helt enig. Hva kjennetegner skoleeiers arbeid med nasjonale prøver? Helt uenig Litt uenig Både /og Litt enig Helt enig Sum Antall (N=) Det er skoleeier som avgjør hvor mye tid skolene skal bruke på forberedelser til nasjonale prøver 60 % 20 % 16 % 2 % 3 % 100 % 116 Det er skolene som bestemmer hvor mye tid de skal bruke på forberedelser til nasjonale prøver 5 % 2 % 8 % 21 % 64 % 100 % 117 Resultatene fra nasjonale prøver påvirker avlønningen av skoleledere i kommunen 86 % 6 % 2 % 5 % 1 % 100 % 116 Resultatene fra nasjonale prøver påvirker avlønningen av lærere i kommunen 92 % 3 % 2 % 3 % 0 % 100 % prosent er uenig i at det er skoleeier som avgjør hvor mye tid skolene skal bruke på forberedelser til nasjonale prøver, mens 85 prosent mener at skolene selv bestemmer dette. Dette samsvarer godt med hva skolelederne selv svarer på tilsvarende spørsmål (se kapittel 5). 92 prosent av skoleeierne er uenig i at resultatene fra nasjonale prøver påvirker avlønningen av skolelederne og 95 prosent er uenig at det påvirker lærernes lønn. Også dette er helt i samsvar med hva skolelederne svarer. Når vi finner så skjeve svarfordelinger, er det ikke overraskende at det her ikke er noen forskjeller etter kommunestørrelse eller landsdel Offentliggjøring av resultatene fra nasjonale prøver En del av arbeidet med resultatene fra nasjonale prøver gjelder hvordan de skal bli gjort kjent, for hvem og hvordan publiseringen skal skje. Vi har spurt kommunene om de offentliggjør resultatene fra enkeltskoler i nasjonale prøver, noe 27 prosent bekrefter at de gjør (figur 4.2). Selv om vi har med bare åtte kommuner i Oslo og Akershus, kan vi fastslå at praksisen med å offentliggjøre slike resultater er en helt annen her enn i resten av landet. Andelen som offentliggjør resultater fra de nasjonale prøvene for enkeltskoler er dobbelt så høy i de største kommunene sammenliknet med de minste. Når de store kommunene offentliggjør resultater fra enkeltskoler oftere enn de små, kan dette kanskje forklares med at de har flere store skoler og at offentliggjøring av resultater fra små skoler er betenkelig fordi usikkerheten knyttet til resultatene er størst for de minste skolene. 61

64 Figur 4.2 «Offentliggjør kommunen resultatene fra enkeltskoler i de nasjonale prøvene?» Andel som svarer «ja». Etter landsdel og kommunestørrelse. Kommunene er også bedt om å beskrive nærmere hvordan de offentliggjør resultatene fra nasjonale prøver. De fleste av disse kommentarene går ut på at resultatene gjøres offentlig i forbindelse med politisk behandling. Det skrives sak til politisk behandling (tilstandsrapporten) Resultatene tas opp i kommunalt foreldreutvalg og i samarbeidsutvalgene ved den enkelte skole. Gjennom tilstandsrapporten og gjennom orienteringer i åpne politiske møter. Kommunen har bare en skole der nasjonale prøver gjennomføres, med ca. 50 elever pr årskull. Drøftingar i politiske organ og i skulens samarbeidsorgan.» Like vanlig er det imidlertid å beskrive kommunikasjonen til foreldrene og skolens organer. Dette blir kommunisert ut til foreldre ved foreldremøter og ved elevsamtaler, samt at det ligger åpent på nett.» Behandles av skolens ledergruppe, personalet og rådmannsnivået blir informert, resultatene med forslag til tiltak behandles politisk, FAU/SU har også hatt dette som tema. I noen tilfeller nevnes også offentliggjøring i media eksplisitt. Gjennom informasjon til samarbeidsutval, FAU og i ope møte til kommunestyret. Kommuneleiinga gir og ut resultata til lokalavisa om dei etterspør dette. Skulane informerer og dei føresette på heimsida eller gjennom It s Learning. Flere kommuner bruker dessuten sine egne nettsider eller har laget en egen nettportal for dette formålet. Resultatene i kommunen blir oppgitt på en egen nettside. Den enkelte skole oppgir sine resultater på skolens hjemmesider. Det blir opprettet en kommunal portal fra 2013 der resultatene blir lagt ut, sannsynligvis med gj.sn. resultat fra hver skole (under planlegging). 62

65 4.3 Oppsummering Skoleeiers ansvar og oppgaver knyttet til nasjonale prøver er beskrevet i dokumentet «Nasjonale prøver - Veiledning til skoleeiere og skoleledere med retningslinjer for gjennomføring», som sendes fra Utdanningsdirektoratet til kommuner og skoler. Vi har sett at de aller fleste kommunene bruker styringsdialogen mellom skoleeier og skoleledere for å informere og veilede om nasjonale prøver. Halvparten av kommunene informerer og veileder også gjennom brev og rundskriv til skolene. Mange skoler får altså ekstra informasjon eller påminnelse/veiledning fra skoleeier i tillegg til den direkte kontakten mellom Utdanningsdirektoratet og skolene. De viktigste punktene i informasjonen fra skoleeier er hensikten med nasjonale prøver, bruk av prøveresultatene og forvaltning av fritaksbestemmelsene. Det er ikke vanlig at skoleeier utarbeider noe eget informasjons- eller øvingsmateriell til skolene, slik at vi må forutsette at skoleeier samler lenker eller bringer videre informasjon fra Utdanningsdirektoratet med formål om å informere skolene. Når Retningslinjene sier at skoleeier skal «se til at alle aktuelle elever» er påmeldt, innebærer ikke dette at skoleeier selv skal utføre denne oppgaven, men at skoleeier skal ha visshet om at dette blir gjort. De fleste skoleeiere oppgir at de minner skolene på reglene for påmelding til nasjonale prøver. Knapt halvparten av kommunene kontrollerer at reglene for påmelding faktisk blir fulgt. Litt under en tredjedel av kommunene kontrollerer at skolene har fulgt fritaksreglene. Registrering av elevstatus etter gjennomføring av nasjonale prøver er skolenes ansvar, mens skoleeier i praksis er pålagt å kontrollere at arbeidet er korrekt utført og at elevtallet stemmer. Langt fra alle kommuner gjør dette. Nesten to tredjedeler av skoleeierne minner skolene om reglene for å registrere elevstatus etter at prøvene er gjennomført. Om lag halvparten av kommunene veileder skolene i disse reglene, og en tredjedel av kommunene kontrollerer at skolene har fulgt disse reglene. Gjennomgående er det derfor slik at skoleeiers oppgaver først og fremst gjelder informasjon, veiledning og kontroll av skolenes arbeid. Et hovedinntrykk fra vår analyse er at kommunene i større grad følger opp plikten til å minne skolene om deres oppgaver og å gi og videreformidle informasjon, enn å veilede skolene og å kontrollere deres arbeid. Kommunene er imidlertid også forpliktet til å bruke resultatene fra prøvene i sitt utviklingsarbeid overfor grunnskolen. Våre data viser at det er stor forskjell mellom kommunene når det gjelder hvor mye arbeid de legger ned i å styrke skolene i forberedelsene til nasjonale prøver. Enigheten om at prøveresultatene er viktig synes å være mye større, selv om det også her er en forskjell etter kommunestørrelse. Et viktig funn her er forskjellen mellom små og store kommuner. De største kommunene følger opp arbeidet med de nasjonale prøvene i betydelig større grad enn de minste, og det gjelder særlig de delene av arbeidet som vi kaller veiledning og kontroll. Det går dessuten et geografisk skille mellom Østlandet på den ene siden, og særlig hovedstadsområdet, og resten av landet på den andre når det gjelder engasjement og vurdering av prøveresultatenes viktighet. Møller og Ottesen (2010) skriver at kvalitetsvurderingssystemet til en viss grad har til hensikt å påvirke interne handlinger både hos skoleeier og hos skoleleder ved ekstern kontroll. Mulige avvik mellom skolene med hensyn til påmelding, fritak og registrering av elevstatus kunne antagelig ha blitt forbedret ved større grad av kontroll fra skoleeiernivået. Data fra dette nivået tyder på at mange skoler er overlatt til å kontrollere sin egen praksis på disse områdene, noe som kan skape lokal variasjon i fortolkning og forvaltning av formaliserte regler. Det synes heller ikke å være sterke incentiver for at skoleeier faktisk skal utføre kontroll og oppfølging av resultatene slik Retningslinjene pålegger dem. Rapportene fra fylkesmennenes utdanningsavdeling viser at nasjonale prøver bare er gjort til gjenstand for tilsyn blant et mindretall av embetene. Hvis vi forutsetter at det å styrke skolene i forberedelsene til prøvene samt det å kontrollere skolene er et mål på skoleeiers aktive engasjement i grunnskolen der nasjonale prøver inngår som et element, kan vi anta at en del skoleeiere synes at resultatene er viktige, men uten at det dermed reelt sett medfører aktiv styring og utvikling av skolen. Sagt med andre ord kan det tenkes at en del skoleeiere 63

66 tar imot resultatene fra nasjonale prøver med interesse, men at informasjonen blir tatt til orientering mer enn til etterretning. Hvis dette resonnementet stemmer, har ikke nasjonale prøver festet seg som styringsinstrument på skoleeiernivået når vi ser landet under ett. Hypotesen styrkes av at det bare er et mindretall blant skoleeiere som både informerer, veileder, kontrollerer samt bruker resultatene til å styrke skolene i forberedelsen, mens de fleste skoleeiere nøyer seg med å informere og veilede. I det første tilfellet kan vi snakke om at nasjonale prøver blir brukt aktivt som et målings- og et styringsinstrument for skoleeier, mens i det siste tilfellet blir prøvene mer et slags «løpetest», som en skoleleder uttrykte det. Med dette må vi ta et forbehold om at vi ikke kjenner innholdet av dialogmøtene mellom skoleeier og skoleledere i de enkelte kommuner, slik at vi ikke har utfyllende data om hvordan resultatene følges opp i praksis på skoleeiernivå. Våre data gir uansett en indikasjon på at det er forskjeller mellom kommuner i hvor stor grad skolene faktisk er integrert i kommunale styrings- og forvaltningsmodeller, slik også Skedsmo (2011) skriver. 64

67 5 Fra skoleledernes ståsted Det empiriske utgangspunktet for dette kapitlet er den elektroniske spørreundersøkelsen som ble gjennomført høsten 2012 blant et representativt utvalg av skoleledere og intervjuer med til sammen seks skoleledere fordelt på tre barneskoler og tre ungdomsskoler. Undersøkelsene er nærmere beskrevet i kapittel 2 i denne rapporten, og surveyen inngår også i rapporten fra undersøkelsen NIFU gjennomførte på vegne av Utdanningsdirektoratet der nasjonale prøver var ett blant flere temaer (Vibe & Hovdhaugen 2012). Mens skoleeier har det overordnede ansvaret for gjennomføring av nasjonale prøver ved skolene i sin kommune, er det skoleleder som er ansvarlig for gjennomføringen av prøvene på sin skole (Retningslinjene, s. 4). Vår gjennomgang av skolens oppgaver er, som i kapitlet foran, delt inn i oppgaver før gjennomføring, under gjennomføring og etter gjennomføring av de nasjonale prøvene. Data fra de kvalitative intervjuene illustrerer og utdyper funnene fra spørreundersøkelsen. Her kan vi få de første indikasjonene på om skolene får tilstrekkelig informasjon, om skolen har kompetanse til å fortolke informasjonen og evne til å bruke denne for å utvikle egen undervisning og læring (Møller og Ottesen 2010). Vi kan også komme nærmere en forståelse av hvordan skolene fortolker regelverket for prøvene, det formaliserte (påmelding, fritak og registrering av elevstatus) så vel som det mindre formaliserte (forberedelser). Til sist får vi vite hvordan skolene, som står i spennet mellom styring og ansvarliggjøring og pedagogisk utvikling, bruker resultatene fra prøvene. Hovedpunkter i kapittel 5 Kvantitative delfunn Øving til nasjonale prøver har i hovedsak karakter av å gjøre elevene kjent med prøveform og oppgavetyper, men repetisjon av fagstoff forekommer også. Forberedelser av elevene forekommer i større grad på mellomtrinnet enn på ungdomstrinnet. Skoler som øver bruker i stor utstrekning Utdanningsdirektoratets øvingsmateriale. Slik sett kan øving tolkes som å være i tråd med Direktoratets ønsker og råd. Det rapporteres om tilfeller av at annen undervisning settes til side til fordel for forberedelser til prøvene. Skolene bestemmer selv over tidsbruken til forberedelser. Det er ikke funnet holdepunkter for at det finner sted en vridning av undervisningspraksis ved skolene for å forbedre resultatene. Fritaksreglene er godt kjent blant skolelederne og de aller fleste mener de er klare og entydige. Skoleledere i små og mellomstore kommuner har i noen grad behov for veiledning om reglene. Skoler med få elever som har enkeltvedtak om spesialundervisning eller særskilt språkopplæring kan oppleve fritaksreglene som svært strenge, for eksempel i forhold til elever med dysleksi og som ikke har enkeltvedtak. 60 prosent av skolelederne mener nasjonale prøver har gitt dem et godt 65

68 redskap til å utvikle skolen. To av tre mener lærerne har fått et godt redskap gjennom prøvene. Opplevelsen av prøvenes nytte er særlig høy i Oslo og høyere ved store skoler enn ved små. Kvalitative delfunn Samtaler med skoleledere bekrefter at forberedelser til nasjonale prøver inngår i skolens øvrige planer for å styrke grunnleggende ferdigheter. Å gjøre elevene trygge i prøvesituasjonen er særlig viktig på mellomtrinnet. Skoleledere forteller at de har som mål at flest mulig av elevene gjennomfører prøvene. Det rapporteres også om skoleeiere som setter prestisje i ikke å ha fritak. I den grad fritaksreglene oppfattes som problematiske, gir skoleledere uttrykk for at de kan gi en praksis som kanskje er for streng. Noen hadde egentlig ønsket å frita flere elever som har dårlige forutsetninger for å gjennomføre prøvene, men kan ikke når elevene ikke på forhånd omfattes av enkeltvedtak. Skoleledere er bekymret for at offentliggjøring av dårlige resultater i media kan oppleves som belastende både av lærere, elever og foresatte og gi et uriktig bilde av skolen. Metodekombinasjon: hovedfunn Arbeidet med de nasjonale prøvene synes å ha blitt en integrert del av arbeidet for å styrke elevenes grunnleggende ferdigheter ved de fleste skoler. Det kan synes som om skolelederne i større grad vurderer prøvene som et verktøy for å kartlegge elevene enn som et verktøy for å vurdere kvaliteten på skolens arbeid. Selv om fritaksreglene oppfattes som klare og entydige, kan praktiseringen av dem oppleves som problematisk. Dette kan henge sammen med at vurdering av fritak kobles til om eleven på forhånd har enkeltvedtak om spesialundervisning eller særskilt språkopplæring. Ulik praksis i forhold til enkeltvedtak gir seg dermed utslag i hvordan fritaksreglene kan praktiseres. Skolelederne synes å ha fått et eierskap til prøvene og bruker resultatene i større utstrekning og med større effekt enn skoleeierne. Samtidig er de kritiske til offentliggjøring av resultater og rangering av skoler i media. 5.1 Før gjennomføring av prøvene Før gjennomføring av prøvene skal skoleleder ivareta bestemte oppgaver, slik de er oppsummert i tabell 5.1, høyre kolonne. I venstre kolonne oppsummeres skoleeiers oppgaver, slik at vi kan se grensene mellom de to nivåenes ansvar, på samme måte som vi også gjorde i forrige kapittel. I det andre og tredje punktet stilles det krav til skoleleder om at denne både skal kjenne til innholdet i veiledningen til lærerne og eksempeloppgavene og dessuten sørge for at lærerne kjenner innholdet. Skoleleder skal, ved siden av å holde seg selv oppdatert (punkt 5), også sørge for at retningslinjene i veiledningen følges (punkt 4) og at foresatte er informert (punkt 6). Endelig kreves det at skoleleder skal være tilgjengelig for lærerne når de trenger hjelp og støtte. Vi har allerede i forrige kapittel kommentert den mulige uklarheten som kan oppstå ved bruken av formuleringen «alle aktuelle elever» i det første punktet i tabellen. Siden teksten for øvrig i veiledningen er helt klar på at alle elever skal meldes på, er det rimelig å tolke dette som at alle som er registrert som elever ved skolen skal meldes på. Ordet «aktuelle» virker slik sett overflødig. Samtidig skal påmeldingen foregå rett etter skolestart om høsten, og det er svært viktig at skolen har fullstendig oversikt over hvem som er elever. Ved store ungdomsskoler er det lett å tenke seg at det i de første ukene etter skolestart kan være uklarhet rundt enkelte elevers status, særlig elever på 8. trinn. Skifte av skole vil også ofte knyttes til starten av skoleåret, enten det skyldes at eleven flytter eller av andre årsaker. 66

69 Tabell 5.1 Oversikt over skoleleders ansvar før gjennomføringen av nasjonale prøver. Skoleeier skal Se til at alle aktuelle elever i kommunen er påmeldt i prøveadministrasjonssystemet Ha lest denne veiledningen og innholdet om nasjonale prøver på Utdanningsdirektoratets nettside Sørge for at skolene kjenner til lærerveiledningene og eksempeloppgavene på Utdanningsdirektoratets nettside Sørge for at gjennomføringen av nasjonale prøver i kommunen er i tråd med de retningslinjene som er gitt i denne veiledningen Holde seg oppdatert på viktige meldinger på Utdanningsdirektoratets nettside Sørge for at skolene har tilstrekkelige tekniske og menneskelige ressurser til å kunne gjennomføre nasjonale prøver etter føringene i denne veiledningen Være tilgjengelige for skoler i kommunen når de trenger veiledning og støtte til å forberede gjennomføringen Skoleleder skal Sørge for at alle aktuelle elever er påmeldt i PAS Ha lest denne veiledningen og kjenne til veiledningen til lærerne og eksempeloppgavene til nasjonale prøver Sørge for at lærerne på skolen kjenner til innholdet i lærerveiledningene og eksempeloppgavene på Utdanningsdirektoratets nettsider Sørge for at gjennomføringen av nasjonale prøver på skolen er i tråd med de retningslinjene som er gitt i denne veiledningen Holde seg oppdatert på viktige meldinger på Utdanningsdirektoratets nettside Sørge for at foresatte er informert om gjennomføringen, og at foreldrebrosjyren blir delt ut i god tid før gjennomføringen Være tilgjengelig for lærerne når de trenger hjelp og støtte til å forberede gjennomføringen Ha lest brukerveiledningen til PAS/PGS *) Ha lest brukerveiledningen til PAS/PGS *) Ha gode kjennskap til PAS/PGS og yte brukerstøtte til Ha god kjennskap til PAS/PGS og yte brukerstøtte til sine skoler *) sine lærere *) *) PAS/PGS inngår ikke i denne evalueringen (Kilde: Retningslinjene s. 7) For skoleleders plikter finner vi en tredeling når det gjelder graden av direkte engasjement som går fra å informere og minne lærerne om hva de skal gjøre, via kontroll av at de faktisk gjør det de skal og til oppgaver det er naturlig å tolke som at skoleleder selv utfører. Begrepet «sørge for at» gir likevel rom for en betydelig grad av delegering av oppgaver. Kravet til skoleleder om å kjenne veiledningen og dermed regelverket og å være oppdatert på meldinger fra Utdanningsdirektoratet er imidlertid absolutt. Det samme gjelder kravet om å være tilgjengelig for lærerne. Hvis det skal ha noen verdi at skoleleder er tilgjengelig, må denne ha inngående kjennskap til rutiner og regelverk Påmelding til prøvene Vi har ønsket å undersøke nærmere hvordan påmelding til nasjonale prøver foregår ved skolene og har stilt fire spørsmål til skolelederne om dette (tabell 5.2). Tabell 5.2 Hvordan følger du opp påmelding til nasjonale prøver? Andel "ja" Antall (N=) Jeg minner lærerne om reglene for påmelding til nasjonale prøver 51 % 612 Jeg veileder lærerne i reglene for påmelding til nasjonale prøver 42 % 612 Jeg kontrollerer at lærerne har fulgt reglene for påmelding til nasjonale prøver 39 % 612 Jeg sørger for påmelding til nasjonale prøver på skolens vegne 84 % prosent av skolelederne sørger for påmelding til nasjonale prøver på skolens vegne, halvparten minner lærerne om reglene for påmelding, 42 prosent veileder lærerne i reglene for påmelding, mens 67

70 39 prosent kontrollerer at lærerne har fulgt reglene for påmelding (tabell 5.2). Vel så interessant som svarfordelingen i tabellen er hvilke kombinasjoner av svar vi finner. Tabellen viser indirekte at det må være en god del skoler der skoleleder gjøre hele jobben med påmelding uten å minne lærerne om reglene, veilede dem eller kontrollere arbeidet deres. Hvis vi skiller mellom «ja» og «nei/ubesvart», kan vi få 16 ulike svarkombinasjoner. Vi har funnet det mer hensiktsmessig å operere med fem: Tabell 5.3 Hvordan følger du opp påmelding til nasjonale prøver? Reduksjon til fem svarkombinasjoner. Etter skolestørrelse. Hvem står for påmelding? De minste De mellomstore De største Alle Leder gjør alt 46 % 37 % 32 % 38 % Leder melder på og minner på, veileder om og kontrollerer regelbruk 22 % 26 % 30 % 26 % Leder melder på og involverer lærere i noen grad 18 % 21 % 19 % 20 % Leder melder ikke på, lærerne er involvert 10 % 9 % 13 % 10 % Ubesvart / ingen 3 % 6 % 6 % 5 % Sum 100 % 100 % 100 % 100 % Antall (N=) Tabell 5.3 viser at skoleleder står for hele påmeldingsarbeidet ved 38 prosent av skolene. Dette betyr at det er krysset av ved «ja» for det siste spørsmålet i tabell 5.2 og «nei» for de tre andre. Ved 26 prosent av skolene er det krysset av ved «ja» for alle fire spørsmål. Det betyr at skoleleder melder på til nasjonale prøver, men lærerne er også involvert i arbeidet og skoleleder minner dem på reglene, veileder dem i regelbruken og kontrollerer at de har fulgt reglene. Ved 20 prosent av skolene melder skoleleder på og foretar i noen grad påminning, veiledning eller kontroll. Det betyr at det er krysset av ved «ja» for påmelding og i tillegg «ja» for ett eller to av de andre spørsmålene. Ved 10 prosent av skolene er det ikke skoleleder som står for påmeldingen, mens lærerne i større eller mindre grad er involvert. Ved fem prosent av skolene er det ikke krysset av for noen av de fire alternativene. De aller fleste av disse skolene opplyser at det enten er administrativt personale ved skolen som står for påmeldingen, eller at det er ansatte i kommunen som tar seg av oppgaven. I kapittel 4 har vi allerede vist at det er enkelte kommuner som bekrefter at en slik praksis finnes. Det er en gjennomgående forskjell mellom små og store skoler når det gjelder hvordan arbeidet med påmeldingen foregår (tabell 5.3 og 5.4). Dette gjelder særlig skoleleders påminnelse om og veiledning av lærerne i reglene, og i hvilken grad skoleleder kontrollerer at reglene er fulgt, noe som skjer oftere på store skoler enn på små. At skoleleder står for påmeldingen alene er noe vanligere ved små skoler enn ved store. Tabell 5.4 Hvordan følger du opp påmelding til nasjonale prøver? Etter skolestørrelse De minste De mellomstore De største Alle Jeg minner lærerne om reglene for påmelding til nasjonale prøver 46 % 51 % 55 % 51 % Jeg veileder lærerne i reglene for påmelding til nasjonale prøver 34 % 42 % 49 % 42 % Jeg kontrollerer at lærerne har fulgt reglene for påmelding til nasjonale prøver 31 % 40 % 46 % 39 % Jeg sørger for påmelding til nasjonale prøver på skolens vegne 87 % 85 % 81 % 84 % Antall (N=)

71 Det er også en tendens til at skolelederne har en noe mer sentral rolle i påmeldingsarbeidet ved barneskolene enn ved 1-10 skolene og ungdomsskolene (tabell 5.5), både når det gjelder påminnelser, veiledning og kontroll. Tabell 5.5 Hvordan følger du opp påmelding til nasjonale prøver? Etter skoleslag Barneskole 1-10 skole Ungdomsskole Alle Jeg minner lærerne om reglene for påmelding til nasjonale prøver 54 % 49 % 44 % 51 % Jeg veileder lærerne i reglene for påmelding til nasjonale prøver 47 % 37 % 34 % 42 % Jeg kontrollerer at lærerne har fulgt reglene for påmelding til nasjonale prøver 43 % 35 % 33 % 39 % Jeg sørger for påmelding til nasjonale prøver på skolens vegne 86 % 81 % 84 % 84 % Antall (N=) Også etter kommunestørrelse finner vi et skille mellom liten og stor (tabell 5.6). Påminnelser, veiledning og kontroll foregår i større utstrekning ved de større kommunene enn ved de siste. Dessuten er andelen av skolelederne som sørger for påmelding høyest ved skolene i de minste kommunene og lavest i de største. Dette kan bety at skoleledere i små kommuner, som ofte har få skoler med få elever, selv tar seg av det meste av arbeidet med påmelding til nasjonale prøver. Tabell 5.6 Hvordan følger du opp påmelding til nasjonale prøver? Etter kommunestørrelse Under og mer Alle Jeg minner lærerne om reglene for påmelding til nasjonale prøver 44 % 52 % 47 % 56 % 56 % 51 % Jeg veileder lærerne i reglene for påmelding til nasjonale prøver 34 % 40 % 39 % 48 % 51 % 42 % Jeg kontrollerer at lærerne har fulgt reglene for påmelding til nasjonale prøver 28 % 40 % 36 % 43 % 50 % 39 % Jeg sørger for påmelding til nasjonale prøver på skolens vegne 94 % 89 % 81 % 82 % 75 % 84 % Antall (N=) Vi finner også en tendens til at det er mer veiledning om og kontroll med at lærerne følger regelverket i Oslo og Akershus enn ellers i landet. Denne gangen er tendensen den samme i begge fylker. Dette er ikke vist i egen tabell. Skolelederne er bedt om å føye til opplysninger i et åpent kommentarfelt om andre forhold av betydning rundt påmeldingen. Det viser seg å være særlig aktuelt i forbindelse med den siste påstanden som gjelder hvem som sørger for påmeldingen. Av de drøyt 80 kommentarer gjelder 16 at det er inspektøren som står for påmeldingen, mens ti peker på sekretær eller merkantilt ansatte og seks på avdelingsledere. Dessuten er det flere som understreker at «jeg sørger for at» betyr at det er skolens ledelse som står for dette arbeidet. Seks skoleledere påpeker dessuten at det er kommunen som sørger for påmeldingen. I fem av seks tilfeller gjelder dette små skoler i små kommuner. Lærerne står sentralt i det administrative forarbeidet, og ansvaret kan delegeres på flere måter. I kommentarfeltet som følger spørsmålene om påmelding av elever til nasjonale prøver, føyer skoleledere til at de har samtaler med lærerne som en del av planleggingsarbeidet, for å forklare hva som forventes av dem og avklare eventuelle spørsmål. Lærere kan også få delegert slike oppgaver 69

72 direkte fra rektor. Ved andre skoler er oppgavene delegert innad i ledelsen eller til IKT-ansvarlig, men rektor slipper likevel ikke helt tak i påmeldingsarbeidet: Oppgavene i PAS er delegert til assisterende rektor og IKT-driftsansvarlig. Rektor følger opp underveis og kvalitetssikrer registreringene Øves det til prøvene? Og i så fall hvordan? Veiledningen til skoleeiere og skoleledere legger vekt på at det er viktig å forberede elevene til prøvene. Dette utfylles og understrekes i kapittel 3 i denne rapporten gjennom intervjuer med personer på ledernivå og rådgivernivå i Utdanningsdirektoratet. Gjennom disse intervjuene begrunnes slike forberedelser både med at elevene må få kjennskap til prøveformen og at det i prinsippet aldri vil være galt å trene på grunnleggende ferdigheter, som ledernivået i direktoratet uttrykker det. Imidlertid skiller kildene i Utdanningsdirektoratet mellom forberedelser myntet på å styrke slike grunnleggende ferdigheter på generelt grunnlag og det å sette til side eller redusere annen undervisning i stort omfang for å drille spesielt på nasjonale prøver. I spørreundersøkelsen har vi derfor søkt å nyansere mellom forberedelse som handler om at elevene blir kjent med prøveformen og oppgavetypene og øvelse som nærmer seg det å drille elever før prøvene slik at det går ut over andre fag eller annen undervisning. Videre har vi med spørsmålene søkt å fange opp den jevne innsatsen for å styrke elevenes grunnleggende ferdigheter gjennom hele skoleåret. Dette for å undersøke om det finnes skoler som øver så mye at det kan påvirke resultatene. Vi har formulert fire utsagn som skolelederne skal ta stilling til og som gjelder om det foregår øving til nasjonale prøver og hvordan det eventuelt foregår. Utsagnene er tenkt å fange opp ulike former for praksis der det første er tenkt som et uttrykk for at nasjonale prøver ikke har noen særlig betydning for hvordan undervisningen legges opp: «På min skole legger vi ikke opp undervisning spesielt med tanke på nasjonale prøver». Det andre utsagnet fanger opp at forberedelser inngår som en del av undervisningen, men at dette er integrert i den øvrige undervisningen og foregår gjennom hele skoleåret: «På min skole er forberedelser til nasjonale prøver integrert i undervisningen gjennom hele skoleåret». Det tredje utsagnet er tenkt å fange opp dem som legger ekstra arbeid i forberedelsene: «På min skole forberedes elevene ekstra til nasjonale prøver i tiden før prøvene», mens det siste utsagnet er det mest ekstreme og viser til at forberedelsene til nasjonale prøver kan gå ut over annen undervisning: «På min skole hender det at annen undervisning settes til side for å øve til nasjonale prøver». Tabell 5.7 viser svarfordelingen på de fire utsagnene. Det viser seg at et flertall av skolelederne er litt eller helt enig i de tre første utsagnene, mens et enda klarere flertall er uenig i det siste utsagnet. Tabell 5.7 Hvordan foregår eventuell øving til nasjonale prøver? Helt uenig Litt Både/ uenig og Litt enig Helt enig Antall (N=) Sum På min skole legger vi ikke opp undervisning spesielt med tanke på nasjonale prøver 10 % 9 % 27 % 21 % 34 % 100 % 589 På min skole er forberedelser til nasjonale prøver integrert i undervisningen gjennom hele skoleåret 9 % 9 % 23 % 32 % 26 % 100 % 592 På min skole forberedes elevene ekstra til nasjonale prøver i tiden før prøvene 11 % 11 % 17 % 36 % 25 % 100 % 597 På min skole hender det at annen undervisning settes til side for å øve til nasjonale prøver 52 % 20 % 13 % 12 % 4 % 100 %

73 Det er naturlig å tenke seg at det kan være en viss grad av samvariasjon i hvordan skolelederne stiller seg til de fire utsagnene. En skole som ikke legger opp undervisningen med tanke på nasjonale prøver vil trolig ha mindre sannsynlighet for å sette undervisningen til side for å øve til prøvene. Samtidig behøver det ikke nødvendigvis være noen motsetning mellom å integrere forberedelsene til nasjonale prøver i undervisningen gjennom hele skoleåret og å forberede elevene ekstra i tiden før prøvene. For å utforske samvariasjonen nærmere har vi foretatt en korrelasjonsanalyse (tabell 5.8). Tabell 5.8 Korrelasjon mellom svarene på fire utsagn om øving til nasjonale prøver. Pearsons r. Ikke spesielt Integrert Ekstra Til side På min skole legger vi ikke opp undervisning spesielt med tanke på nasjonale prøver 1 På min skole er forberedelser til nasjonale prøver integrert i undervisningen gjennom hele skoleåret -0,039 1 På min skole forberedes elevene ekstra til nasjonale prøver i tiden før prøvene -0,269** 0,037 1 På min skole hender det at annen undervisning settes til side for å øve til nasjonale prøver -0,261** -0,043 0,426** 1 Den sterkeste statistiske sammenhengen finner vi mellom de to siste utsagnene. Sammenhengen er positiv slik at når elevene forberedes ekstra i tiden før prøvene, øker også sannsynligheten for at annen undervisning settes til side. De to andre statistisk signifikante sammenhengene er begge negative og betydelig svakere enn den første. Når undervisningen ikke legges opp spesielt med tanke på nasjonale prøver, reduseres sannsynligheten for at elevene øver ekstra i tiden før prøvene og for at annen undervisning settes til side. Når undervisningen ikke legges opp spesielt med tanke på nasjonale prøver, har dette derimot ingen betydning for om forberedelsene til nasjonale prøver integreres i undervisningen gjennom hele skoleåret. At forberedelsene til nasjonale prøver integreres i undervisningen gjennom hele skoleåret har heller ingen betydning for om elevene forberedes ekstra i tiden før prøvene. I figurene 5.1 til 5.4 behandles de fire utsagnene som numeriske, kontinuerlige variabler som går fra 1 til 5, der 1 tilsvarer «Helt uenig» mens 5 er «Helt enig». For å forenkle den videre framstillingen, skal vi se på hvordan gjennomsnittsverdien på de fire variablene varierer mellom ulike grupper av skoler. Figur 5.1 viser hvordan de tre skoleslagene plasserer seg på de fire variablene. De små sirklene viser gjennomsnittsverdien, mens strekene som går ut fra sirklene angir konfidensintervallet, eller den statistiske usikkerheten rundt gjennomsnittet. Verdien 3 vil her bety at skolene som et gjennomsnitt plasserer seg nøytralt ved kategorien «både/og». Vi ser at alle fire skoleslag har en betydelig lavere verdi på det fjerde utsagnet (svart) enn på de tre øvrige, det som gjelder at undervisning kan settes til side. Likevel er det en forskjell her, slik at verdien er lavest for ungdomsskolene og høyest for barneskolene. Ungdomsskolene er mest uenig i dette utsagnet. Forskjellen mellom disse to skoleslagene er dessuten statistisk signifikant, fordi konfidensintervallene ikke overlapper hverandre. 71

74 Figur 5.1 Gjennomsnittsverdi og konfidensintervall for svarene på fire ulike utsagn om øving til nasjonale prøver. 1 = «Helt uenig», 5 = Helt enig». Etter skoleslag. Et annet interessant trekk ved figur 5.1 er at mens gjennomsnittverdien på de tre første utsagnene er omtrent den samme på barneskolene og 1-10 skolene, så varierer verdien betydelig for ungdomsskolene. Ungdomsskolene er klart mest enig i utsagnet om at undervisningen ikke legges opp med tanke på nasjonale prøver (blå), og betydelig mer enig i dette utsagnet enn de andre skoleslagene. Samtidig er ungdomsskolene mye mer delt i synet på det tredje utsagnet, nemlig at elevene forberedes ekstra i tiden før prøvene (grønn). Når det gjelder utsagnet om at prøvene er integrert i undervisningen gjennom hele skoleåret (rød), er det ingen forskjell mellom skoleslagene. Dette bekrefter et generelt inntrykk av at nasjonale prøver griper mindre inn i ungdomsskolenes hverdag enn i barneskolenes, noe som særlig kommer fram gjennom svarene på undersøkelsen blant lærerne (se kapittel 6). Vi finner ingen forskjell av betydning i gjennomsnittsverdi på de fire variablene etter skolestørrelse. Kommunens innbyggertall har derimot betydning for en av variablene (figur 5.2). 72

75 Figur 5.2 Gjennomsnittsverdi og konfidensintervall for svarene på fire ulike utsagn om øving til nasjonale prøver. 1 = «Helt uenig», 5 = Helt enig». Etter kommunestørrelse. For et av utsagnene, det som gjelder at forberedelser til nasjonale prøver er integrert i undervisningen (rød), finner vi en forskjell. Det er større oppslutning om dette ved skoler i de største kommunene enn ved andre skoler. I figur 5.3 skiller vi mellom landsdeler og her skiller Oslo og Akershus seg tydelig fra de øvrige landsdelene. Igjen er det slik at det er skolene i Oslo som utgjør forskjellen, mens Akershusskolene ligger mye nærmere landsgjennomsnittet. Skåren på det første utsagnet, om at undervisningen ikke legges opp spesielt med tanke på nasjonale prøver (blå), er betydelig lavere i Oslo mens det er omtrent som landsgjennomsnittet i Akershus. Skåren på det andre utsagnet, at nasjonale prøver er integrert i undervisningen (rød), er over gjennomsnittet både i Oslo Akershus. 73

76 Figur 5.3 Gjennomsnittsverdi og konfidensintervall for svarene på fire ulike utsagn om øving til nasjonale prøver. 1 = «Helt uenig», 5 = Helt enig». Etter kommunestørrelse. Et av de tydeligste skillene vi finner når det gjelder de fire utsagnene om organisering av undervisningen i forhold til de nasjonale prøvene, er det som går mellom private, eller frittstående, skoler og offentlige skoler. Selv om vi har med bare 38 private grunnskoler i vårt materiale, skiller disse seg ut på en signifikant måte når det gjelder tre av de fire utsagnene. De er i betydelig større grad enig i utsagnet om at undervisningen ikke legges opp spesielt med tanke på de nasjonale prøvene enn de offentlige skolene (blå). Samtidig er de i betydelig mindre grad enig i utsagnet om at elevene forberedes ekstra i tiden før prøvene (grønn). De er dessuten enda mer uenig i utsagnet om at undervisning settes til side (svart). I sum betyr dette at de private skolene generelt legger mye mindre vekt på de nasjonale prøvene og lar dem påvirke organiseringen av undervisningen i mindre grad enn de offentlige. Det er nok flere forklaringer på dette, og en svært nærliggende forklaring kan være at de ikke på samme måte som de offentlige skolene inngår i en forvaltningskjede hvor skoleeier stiller forventninger til prøvenes resultater, og på den måten legger føringer på virksomheten. 74

77 Figur 5.4 Gjennomsnittsverdi og konfidensintervall for svarene på fire ulike utsagn om øving til nasjonale prøver. 1 = «Helt uenig», 5 = Helt enig». Etter driftsansvar. Skolelederne er i spørreundersøkelsen bedt om å gi utfyllende kommentarer til hvordan skolen arbeider med forberedelser av elevene til nasjonale prøver. En av disse kommentarene illustrerer på en god måte hvordan arbeidet med de nasjonale prøvene inngår som en naturlig del av virksomheten ved en stor barneskole: Vi jobber kontinuerlig med læringsstrategier, lesing, regning og engelsk hele året - også i tiden før nasjonale prøver. I de siste ukene før prøven jobber lærerne som har norsk, engelsk og matematikk med eksempelprøver og gamle prøver for at elevene skal være forberedt på hvordan denne prøven er og gjennomføres. Vi jobber imidlertid også med andre fag og ulike temaer som vanlig fra skolestart og frem til prøven. Vi har en lesekurslærer som jobber med intensive kurs i lesing og læringsstrategier på flere trinn. Hun jobber også på 4. og 5. trinn. Dette for å få lesenivået opp på et tilfredsstillende nivå før mellomtrinnet. Vi jobber for å få så få elever som mulig på nivå 1 i fagene. Da må du jobbe strukturert og grundig helt fra 1. trinn - ikke bare i tiden før prøven. Denne skolelederen er helt enig i utsagnene om at undervisningen ikke legges opp spesielt med tanke på prøvene og at nasjonale prøver er integrert i undervisningen gjennom hele skoleåret. Hun er litt enig i at elevene forbedres ekstra i tiden før prøvene, men helt uenig i at undervisning settes til side for å øve til nasjonale prøver. En instrumentell orientering mot forberedelser til prøvene karakteriserer dette utsagnet fra en skoleleder i Oslo: Nasjonale prøver skal jo vurdere i hvilken grad eleven har lært noe. Da må man jo trene på det eleven skal lære. Dermed blir jo resultatet fra alle kartlegginger benyttet til å korrigere det man gjør. Og kunnskapen om resultatet et år påvirker det man gjør neste år. 75

78 Skolelederen bak denne kommentaren er helt uenig i utsagnet om at undervisningen ikke legges opp spesielt med tanke på prøvene, men helt enig i at nasjonale prøver er integrert i undervisningen gjennom hele skoleåret. Han er helt uenig i at elevene forbedres ekstra i tiden før prøvene og at undervisning settes til side for å øve til nasjonale prøver. En annen skoleleder er ved sine kommentarer til spørsmålene mer opptatt av prøveformen og hvordan elevene opplever den. Denne skolelederen er helt enig i utsagnet om at undervisningen ikke legges opp spesielt med tanke på prøvene og litt enig i at nasjonale prøver er integrert i undervisningen gjennom hele skoleåret. Han er helt enig i at elevene forbedres ekstra i tiden før prøvene, men litt uenig i at undervisning settes til side for å øve til nasjonale prøver. Denne skolelederen understreker at det er viktig at elevene blir gjort trygge på prøveformen, men viser samtidig til at undervisningen er lagt opp etter målene i læreplanen gjennom hele skoleåret. En annen skoleleder peker på hvor viktig det er at elevene får trene på å mestre det datatekniske ved prøven, slik at de ikke må bruke mye tid på dette under gjennomføringen og kan konsentrere seg om det faglige. Skolelederen bak denne kommentaren er litt uenig enig i utsagnet om at undervisningen ikke legges opp spesielt med tanke på prøvene og nøytral med hensyn til at nasjonale prøver er integrert i undervisningen gjennom hele skoleåret. Hun er litt enig i at elevene forbedres ekstra i tiden før prøvene, og svarer «både/og» i forhold til om undervisning settes til side for å øve til nasjonale prøver. Kommentaren viser at det vi kan kalle tekniske eller praktiske forberedelser til nasjonale prøver, altså det å gjøre elevene kjent med prøveformen og la dem trene på å løse oppgaver på data og eventuelt på tid, kan medføre endringer i elevenes timeplan. Arbeidet med forberedelser utdypes av det kvalitative intervjumaterialet. Alle de seks intervjuede skolelederne forteller at elevene forberedes på prøvene, men viser til at denne forberedelsen dreier seg om å gjøre elevene kjent med prøveform og oppgavetyper, og eventuelt trene på å gjennomføre en slik prøve på tid. Samtidig bekrefter enkelte av dem at det kan være nødvendig å skyve noe på annen undervisning i tiden før prøven, hvis hensikten for eksempel er å få tid til å trene på å gjennomføre en 90-minutters prøve på data. Når slike opplysninger kommer frem i intervjumaterialet, skjer dette på barneskoler der elevene er mindre vant med slike testsituasjoner enn hva elever på ungdomstrinnet må forventes å være. De eldste elevene har i det minste vært gjennom nasjonale prøver femte trinn. Skolene vi har besøkt, bruker i hovedsak norsktimer til å forberede leseprøven, matematikktimer til å forberede regneprøven, og engelsktimer til å forberede engelskprøven. Her trenes det på prøvesituasjonen, og på noen skoler repeteres det også fagstoff. «Men vi legger ikke inn en bolk som heter nasjonale prøver i disse timene,» sier en av skolelederne, «og dette er jo heller ikke en test i matematikk, men læreren kan kanskje velge ut noen få fagområder som det kan jobbes med i forberedelsen.» Alle skolelederne vi har intervjuet, understreker ellers at det ikke drilles faglig før prøvene, fordi «det er jo kompetansemålene vi jobber med hele året,» slår flere av dem fast. Flere av dem viser til at nasjonale prøver skal hjelpe skolene i vurdering og kartlegging, og derfor skal prøvene gi reelle resultater som skolen kan bruke i videre innsats for å øke elevenes læringsutbytte. «Det er jo hva elevene har lært helt fra 1. trinn som skal munne ut i denne prøven på 5. trinn, og det kan man jo ikke få tatt igjen på de siste tre ukene før prøven,» sier en barneskoleleder. Likevel opplever skolelederne at det er et reelt behov for å trene elevene i selve prøvesituasjonen. En ting er at elevene skal kjenne seg trygge og vite hva de går til, en annen ting er at manglende kjennskap til de tekniske aspektene ved gjennomføring av elektroniske prøver kan komme til «å teste elevenes manglende datakunnskaper, ikke deres faglige ferdigheter,» som en skoleleder uttrykker det. «Jo mer vi får ryddet unna av feilkilder i testsituasjonen, jo sikrere kan vi være på at prøven faktisk viser hva elevene kan,» sier en annen, og utdyper: Det er klart at det vil være en diskusjon om man skal gjøre det slik, men jeg mener at det er helt greit å øve elevene slik at de er trygge i testsituasjonen, at de er kjent med spørsmålstilling og oppgavetyper. Det er jo slik vi gjør det i alt annet, egentlig, vi øver dem og 76

79 trener dem. Så jeg vet at de blir forberedt på hva som kommer. Det blir også gjort en god jobb med informasjon: hvorfor det er viktig at elevene gjør sitt beste og at det ikke er noen fare knyttet til dette, altså at det ikke blir gitt karakterer. Prøven skal være nesten som en veiledning for skolen, og vise hvor elevene står. ( ) For det er jo balansen, det skal ikke være slik at man øver og øver for at resultatet blir godt, men hvis man øver for å få en mest mulig riktig prøvesituasjon, så er det to forskjellige ting. Og jeg har ingen opplevelse av at her har man skjøvet til side annen undervisning, man har brukt noen timer på å forberede elevene de har brukt kanskje en eller to timer på å gå gjennom en prøve. (rektor 6) Det finnes nyanseringer av slike beskrivelser i vårt intervjumateriale, og disse nyanseringene handler om elever som har særskilte behov i opplæringen. Dette er et spørsmål som vi vil komme nærmere tilbake til flere steder i denne rapporten, og som også berører spørsmål om fritak fra nasjonale prøver. Hvis svake elever med generell lav måloppnåelse ikke på forhånd har enkeltvedtak om spesialundervisning eller rett til særskilt språkopplæring, kan de heller ikke vurderes for fritak fra nasjonale prøver. Disse elevene kan ha behov for ekstra støtte i forberedelsene til nasjonale prøver, noe som krever mer innsats. Ellers prøver vi jo å legge til rette for muntlige prøver for dem som strever med å lese og skrive altså, for at de skal få vist hva de kan. Det er klart at der blir nasjonale prøver annerledes, men vi har jo blitt bedre på å trene dem til selve prøvesituasjonen, så de vet hva de går til. Og det gjør vi bevisst. Vi tenkte at nei, vi skal ikke ha noen teach to the test, det skal vi ikke ha noe av. Men vi skjønte jo fort at de må bli vant til situasjonen, altså de må skjønne hva det er de skal gjøre, for ellers får de i hvert fall ikke vist hva de kan. Så vi lar dem trene på tidligere oppgaver så de skal kjenne prøvesituasjonen. (rektor 3) Vi mener at skolelederne vi har intervjuet, har et tydelig og bevisst forhold til hvordan elevene øver til nasjonale prøver. Skolelederne har i dette tatt valg som handler om at elevene skal være kjent med hva de går til, men flere av dem reflekterer samtidig over at det kan være nødvendig å tilpasse denne generelle forberedelsen ytterligere til svake elever. Flere av skolelederne forteller ellers om at rutinene for forberedelser er godt innarbeidet på skolen. En av barneskolelederne sier at forberedelsene introduseres første gang på slutten av skoleåret på 4. trinn, og at elevene på slutten av 7. trinn også får en introduksjon til prøven de skal ta på høsten når de begynner på ungdomsskolen. To av skolelederne forteller at lærerne som en del av forberedelsene har fått gjennomføre en gammel nasjonal prøve under forhold som tilsvarer elevenes vilkår, slik at de er bedre forberedt på hva elevene skal gjennom. Skolelederne som har svart på spørreundersøkelsen, viser noe mer variasjon med hensyn til hvordan det øves til nasjonale prøver, men også her er hovedinntrykket at forberedelser til prøver enten regnes som integrert i arbeid med kompetansemålene gjennom hele skoleåret, eller at det også øves på eksempeloppgaver og på gjennomføring av prøven. I noen grad skjer det imidlertid en forskyvning av annen undervisning for at elevene skal få øve til nasjonale prøver Bruk av materiell til forberedelser I spørreundersøkelsen ble skolene bedt om å svare på tre spørsmål om bruk av materiell til forberedelser.. 11 De tre spørsmålene gjelder om skolen bruker et særskilt øvingsmateriell når de forbereder elevene til nasjonale prøver, og det skilles her mellom tre typer materiell. 11 Dette er «ja/nei»-spørsmål, men det viser seg at relativt mange har unnlatt å krysse av for et av svaralternativene. Dette har vi valgt å tolke som «nei», slik at andelen «ja» prosentueres ut fra alle 612 skoler som har besvart undersøkelsen. 77

80 Tabell 5.9 Bruker skolene et særskilt øvingsmateriell når dere forbereder elevene til nasjonale prøver? Andel "ja" Antall (N=) På min skole bruker lærerne gamle prøver for å forberede elevene til nasjonale prøver 87 % 612 På min skole bruker lærerne et eget øvingsmateriell som kommunen har laget for å forberede elevene til nasjonale prøver 3 % 612 På min skole bruker lærerne et eget øvingsmateriell som skolen har laget for å forberede elevene til nasjonale prøver 16 % 612 Ved 87 prosent, eller sju av åtte skoler, bruker lærerne gamle prøver for å forberede elevene til nasjonale prøver (tabell 5.9). Bare tre prosent bruker eget øvingsmateriell som kommunen har laget for dette formålet. 16 prosent, eller en av seks skoler, bruker materiell som skolen har laget. Det er dermed gamle prøver som er klart viktigste ressurs for å forberede elevene før prøvene. Dette utdypes av skolelederne i intervjuene, som forteller at lærerne bruker tidligere prøver som er tilgjengelig via Utdanningsdirektoratets nettside. «Det som er fristilt av materiell, det bruker vi,» sier en av dem. Dette handler ifølge denne og flere av skolelederne først og fremst om å gjøre elevene trygge i prøvesituasjonen, slik vi har beskrevet i det foregående. Når vi skiller mellom de tre skoleslagene, ser vi at ungdomsskolene generelt bruker minst materiell, mens barneskolene bruker mest (tabell 5.10). Forskjellen gjelder gamle prøver og materiell skolen har laget, mens kommunalt materiell brukes i liten grad ved alle skoleslag. Tabell 5.10 Bruker skolene et særskilt øvingsmateriell når dere forbereder elevene til nasjonale prøver? Andel som svarer «ja» etter skoleslag. Gamle prøver Kommunens materiell Skolens materiell Antall (N=) Barneskole 91 % 4 % 19 % skole 88 % 3 % 15 % 144 Ungdomsskole 77 % 3 % 7 % 120 Alle 87 % 3 % 16 % 612 Forskjellen er mindre tydelig når vi skiller mellom skolene etter størrelse (tabell 5.11). Her ser vi at det bare er forskjell av betydning når det gjelder materiell skolen har laget. Her er andelen som bruker slikt materiell nesten dobbelt så høy ved de største skolene sammenliknet med de minste. Tabell 5.11 Bruker skolene et særskilt øvingsmateriell når de forbereder elevene til nasjonale prøver? Andel som svarer «ja» etter skolestørrelse. Gamle prøver Kommunens materiell Skolens materiell Antall (N=) De minste 89 % 4 % 12 % 169 De mellomstore 87 % 3 % 15 % 258 De største 85 % 4 % 21 % 185 Alle 87 % 3 % 16 % 612 Det er tydelige forskjeller etter kommunestørrelse når det gjelder skolenes bruk av materiell til forberedelser (tabell 5.12). Det er dobbelt så vanlig å bruke materiell som skolene selv har laget i de største kommunene sammenliknet med de mellomstore og små. Mest bruk av kommunalt materiell finner vi også i de største kommunene, mens bruk av gamle prøver til gjengjeld er noe mindre vanlig 78

81 her. I noen grad kan den relativt høye andelen som bruker materiell skolen har laget i de folkerike kommunene forklares med at det her finnes mange store skoler og at store skoler, som tabell 5.9 allerede har vist, bruker mer egenprodusert materiell enn små. Hele forskjellen forklares likevel ikke av dette forholdet. Tabell 5.12 Bruker skolene et særskilt øvingsmateriell når de forbereder elevene til nasjonale prøver? Andel som svarer «ja» etter skolestørrelse. Gamle prøver Kommunens materiell Skolens materiell Antall (N=) Under % 5 % 13 % % 2 % 13 % % 2 % 12 % % 2 % 19 % og mer 81 % 10 % 27 % 84 Alle 87 % 3 % 16 % 612 Til slutt skal vi se på geografiske forskjeller og igjen viser det seg at Oslo og Akershus skiller seg ut fra resten av landet (tabell 5.13). En av tre skoler i hovedstadsområdet bruker egenprodusert materiell, mot en av åtte skoler i de øvrige landsdelene. Når vi skiller mellom Oslo og Akershus, finner vi at halvparten av skolene i Oslo bruker slikt materiell mot 23 prosent i Akershus. Åtte prosent av skolene i Oslo og Akershus bruker kommunalt materiell, og her viser det seg at dette bare gjelder skoler i Oslo, slik at andelen der er 23 prosent, mens ingen skoler i Akershus oppgir at de bruker slikt materiell. Det samme gjelder seks andre fylker 12. Tabell 5.13 Bruker skolene et særskilt øvingsmateriell når dere forbereder elevene til nasjonale prøver? Andel som svarer «ja» etter landsdel. Gamle prøver Kommunens materiell Skolens materiell Antall (N=) Oslo og Akershus 85 % 8 % 33 % 84 Østlandet 88 % 4 % 12 % 172 Sør- og Vestlandet 87 % 2 % 13 % 215 Midt- og Nord-Norge 87 % 2 % 13 % 141 Alle 87 % 3 % 16 % 612 Vi har også spurt skolene om de har brukt annet materiell i forberedelsene av elevene enn de tre formene vi har nevnt spesifikt. 84 skoler, eller 14 prosent av skolene har gjort dette og de har presisert nærmere hva slags materiell det gjelder. Her svarer 40 skoler at de har brukt øvingsoppgavene som ligger på Utdanningsdirektoratets nettsider. Dette tilsvarer sju prosent av skolene og dermed er disse oppgavene viktigere enn materiell utviklet av skolen. De øvrige svarene viser at det er mange måter å forberede elevene på. Noen skoler etterlikner prøvene, og svarer at lærerne lager oppgaver som i form og innhold ligner på nasjonale prøver. Ved andre skoler integreres Utdanningsdirektoratets øvingsoppgaver i skolens generelle strategi: Skolens felles skoleplaner for lesing, matematikk, engelsk og forståelse/strategi er de viktigste rammene generelt. Vi bruker eksempelprøvene til nasjonale prøver som ligger på nettet. Så bruker vi den kunnskapen / de erfaringene både ledelsen og lærerne som har jobbet med nasjonale prøver tidligere, har delt med fellesskapet. Andre skoler bruker ikke materiell knyttet særskilt til prøvene, men viser til den generelle innsatsen de legger ned for å styrke elevenes grunnleggende ferdigheter: 12 Østfold, Agder-fylkene, Sogn og Fjordane, Troms og Finnmark. 79

82 Vi bruker aktivt kartleggingsverktøy hvert skoleår, høst og vår. Resultater av disse prøvene følges opp i samtale mellom lærer/rektor. Her enes en om hvordan ulike elever skal følges opp for å øke måloppnåelsen. Dette brukes også som grunnlag for forberedelser til nasjonale prøver. I kommentarfeltet som gjelder forberedelser til nasjonale prøver er det også skoleledere som understreker at de jobber med generelle strategier for læring i henhold til kompetansemålene, og presiserer at dette ikke er spesielt rettet mot nasjonale prøver. Forberedelsene til nasjonale prøver inngår i lokal læreplan. Vi bruker ikke spesielle oppgaver eller øvelser, men følger en oppsatt plan gjennom hele skoleløpet. Vi bruker nasjonale prøver som en korrigering til eget opplegg. Endelig er det skoler som benytter kommentarfeltet til å presisere at de ikke øver til prøvene. Spørsmålene og kommentarene fra skolelederne som gjelder bruk av materiell i forberedelsesfasen underbygger inntrykket av at i den grad det øves faglig til prøvene, handler dette om eksempelprøver og oppgaver som er tilgjengelige via Utdanningsdirektoratets nettsider. Noen skoler og landsdeler skiller seg imidlertid ut med at det lages eget øvingsmateriell til prøvene Hvem bestemmer over tidsbruken? Når det fra Utdanningsdirektoratets side understrekes at det er lov til å forberede elevene på prøveform og oppgavetyper, men at det i prinsippet finnes en grense for hvor stor innsats det vil være fornuftig for skolene å legge ned i forberedelsene, er det interessant å undersøke hvem som bestemmer over skolenes tidsbruk i forberedelsesfasen. Skolelederne er bedt om å ta stilling til tre utsagn som skal kartlegge slike forhold. Tabell 5.14 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver ved din skole? Skoleeier Skoleledelsen Lærerkollegiet eller enkeltlærere Helt uenig 53 % 7 % 8 % Litt uenig 15 % 7 % 4 % Både/og 13 % 26 % 18 % Litt enig 6 % 33 % 33 % Helt enig 1 % 23 % 34 % Ubesvart 13 % 4 % 3 % Sum 100 % 100 % 100 % Antall (N=) Tabell 5.14 viser at to av tre skoleledere er uenig i at det er skoleeier som bestemmer, mens like mange er enig i at det er lærerkollegiet eller enkeltlærere som bestemmer. Bare en prosent er helt enig i at skoleeier bestemmer. 56 prosent at mener skoleledelsen bestemmer. Vi ser at det er relativt mange som ikke har svart på utsagnet om skoleeiers innflytelse. Når vi ser nærmere på hvordan disse har svart på de to andre utsagnene, ser vi at ubesvart for en stor del betyr at de er enig i et eller to av de andre utsagnene. De tre utsagnene er strengt ikke gjensidig utelukkende, man kan for eksempel mene at alle tre parter bestemmer. Den aller mest vanlige oppfatningen er likevel at både skoleledelsen og lærerne bestemmer, og at skoleeier ikke bestemmer. Slik svarene fordeler seg på de tre spørsmålene, er det mest hensiktsmessig å dele materialet i tre grupper. Den første gruppen består av dem som er enig i at både skoleleder og lærere bestemmer, men ikke skoleeier. Disse utgjør 44 prosent av skolelederne. 27 prosent mener at lærerkollegiet eller enkeltlærerne bestemmer, mens 14 prosent peker på skoleledelsen. Endelig er det 15 prosent som mener at makten er delt, eller at det er uklart hvem som bestemmer. Hvor ble det så av den lille gruppa som mener skoleeier bestemmer? 80

83 Det viser seg at bare tre av de 41 skolelederne som er litt eller helt enig i dette utsagnet mener at skoleeier bestemmer alene. Tabell 5.15 viser hvordan synspunktene er på tvers av skoleslag. Tabell 5.15 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver? Kombinasjon av svar på tre spørsmål. Etter skoleslag Ledelse og lærere Lærere Ledelse Alle/uklart Sum Antall (N=) Barneskole 45 % 26 % 12 % 17 % 100 % skole 42 % 31 % 10 % 17 % 100 % 144 Ungdomsskole 44 % 27 % 23 % 6 % 100 % 120 Alle skoler 44 % 27 % 14 % 15 % 100 % 612 Signifikant forskjell mellom skoleslag Forskjellen mellom ungdomsskolene og de øvrige skoleslagene er statistisk signifikant og ligger i at skoleledelsen oftere bestemmer på ungdomsskolene, mens situasjonen er noe mer uklar eller makten delt på de øvrige skoleslagene. Denne forskjellen kan henge sammen med at ungdomsskolene i gjennomsnitt er noe større enn de andre skolene, og tabell 5.17 viser nettopp at vi finner en sammenheng med skolestørrelse. Tabell 5.16 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver? Etter skolestørrelse. Ledelse og lærere Lærere Ledelse Alle/uklart Sum Antall (N=) De minste 40 % 35 % 9 % 16 % 100 % 169 De mellomstore 44 % 28 % 12 % 16 % 100 % 258 De største 48 % 19 % 21 % 12 % 100 % 185 Alle skoler 44 % 27 % 14 % 15 % 100 % 612 Signifikant forskjell etter skolestørrelse Når vi skiller mellom skoler av ulik størrelse, får vi fram et tydeligere mønster ved at lærerne har mer makt på de minste skolene, mens ledelsen har noe mer makt på de største skolene, samtidig som det også er mer vanlig med delt makt på de største skolene enn på de minste. Et annet relevant størrelsesmål i denne forbindelse er innbyggertallet i kommunen. Figur 5.5 viser at det er en lineær sammenheng mellom kommunestørrelse og fordelingen mellom skoler der lærerne bestemmer og skoler der ledelsen bestemmer. Bare tre prosent av skolelederne i de minste kommunene mener at skoleledelsen bestemmer, mens andelen er 25 prosent i de største kommunene. Omvendt synker andelen som mener at lærerne bestemmer fra 39 prosent i de nest minste kommunene til 14 prosent i de største. Vi fant knapt noen skoleleder som mener at skoleeier bestemmer alene. Dette er interessant, fordi det kan fortelle noe om i hvilken grad skoleeier bruker prøvene som styrings- og måleverktøy i utviklingen av skolene. Det figur 5.1 viser kan likevel være en indirekte indikasjon på skoleeiers makt utøvd gjennom skolelederne. Hvis vi antar at skoleeiere i store kommuner har mer innflytelse på styringen av skolesektoren enn i små kommuner, kan det vi finner bety at skoleeier styrer gjennom skolelederne i større grad i store kommuner enn i små. Oslo kommune har ry på seg for å være en skoleeier som styrer sine skoler i stor grad. Av de 31 skolelederne fra Oslo som er med i vårt materiale er det 12, eller 39 prosent, som mener at det er de alene som bestemmer. Dette er en andel som er tre ganger så høy som på landsbasis. Samtidig er det bare én som mener at lærerne bestemmer. 81

84 Figur 5.5 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver? Etter kommunestørrelse. Vi skal også vise fordelingen på de fire kategoriene etter landsdel (tabell 5.17). Oslo og Akershus vises her samlet, mens vi allerede har fortalt om at andelen som mener ledelsen bestemmer er betydelig høyere i Oslo enn det tabell 5.17 viser. Til gjengjeld er andelen i Akershus omtrent som landsgjennomsnittet. Den variasjonen vi finner mellom landsdelene vil nok i noen grad henge sammen med kommunestruktur og skolestørrelse. Når andelen som mener lærerne bestemmer er særlig høy på Sør- og Vestlandet, kan det henge sammen med at det er mange små skoler der, mens den lave andelen som peker på ledelsen i Midt- og Nord-Norge kan forklares med mange små kommuner. Vi har også undersøkt om det er noen forskjell mellom offentlige skoler og private, men finner ikke at dette er tilfellet. Tabell 5.17 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver? Etter landsdel. Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver Ledelse og lærere Lærere Ledelse Alle/uklart Sum Antall (N=) Oslo og Akershus 52 % 13 % 23 % 12 % 100 % 84 Østlandet 41 % 28 % 16 % 14 % 100 % 172 Sør- og Vestlandet 38 % 33 % 13 % 16 % 100 % 215 Midt- og Nord-Norge 52 % 26 % 7 % 16 % 100 % 141 Alle skoler 44 % 27 % 14 % 15 % 100 % 612 Signifikant forskjell etter landsdel Vi har også spurt om det er andre enn de tre partene som utsagnene viser til som bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver. Hvis det er tilfelle, har vi bedt skolelederne om å spesifisere dette nærmere. De svarene vi har fått forteller om ulike mellomformer, som i de aller fleste tilfeller er et samarbeid mellom ulike parter på skolen: Rektor gjev beskjed om at elevane må få tid til å gå gjennom eksempeloppgåve, slik at dei er førebudde på typen oppgåver. Det er opp til faglærar å gjennomføre førebuinga. I samarbeidsmøte mellom skolens ledelse og teamet på 5. trinn drøftes det hvordan skolen kan legge til rette for gjennomføring av prøvene. 82

85 Skoleleder ber om at lærerne går inn på de forskjellige prøvene som ligger fra tidligere år, og ber lærerne selv om å bruke den tiden som er nødvendig ut fra sin klasse/gruppe. Utsagnene tyder på stor autonomi for skolene ved skolelederen. Dette tilsvarer norske funn fra OECDundersøkelsen TALIS i 2008 (Vibe, Aamodt og Carlsten 2009). Noen avvik fra dette relativt harmoniske bildet finner vi likevel. En skoleleder svarer i kommentarfeltet at det er myndighetene som bestemmer tidsbruken i forberedelsene, da prøveregimet «ikke er pålagt oss frivillig.» En annen skoleleder viser til det politiske nivået og mener at det stilles store krav og forventninger til resultater. Følgelig er dette nivået indirekte med på å bestemme hvor mye tid som skal gå med til forberedelser. Et par skoleledere nevner dessuten at FAU er involvert i dette, men foreldreengasjementet kan nok variere mye fra skole til skole og mellom foreldrene: Vi opplever at det er forskjell blant foreldre hvor mye de følger opp og oppmuntrer til øving i forkant av prøvene. Skoleeierne er bedt om å ta stilling til tilsvarende påstander om hvem som avgjør hvor mye tid skolene skal bruke på forberedelser til nasjonale prøver (tabell 5.18). Her gjelder det ikke bare forberedelser av elevene, men all tid til forberedelser. Det viser seg at oppfatningen her er like tydelig som den er ved skolene. Det er ikke skoleeier som bestemmer dette, og i den grad skoleeier har innflytelse, så er det sammen med skolen. Tabell 5.18 Hvem bestemmer hvor mye tid skolen skal bruke på å forberede elevene til nasjonale prøver? Skoleeiers syn. Totalprosentuert (N=116) Hvem avgjør hvor mye tid skolene skal bruke på forberedelser til nasjonale prøver Skolen avgjør Skoleeier avgjør Helt uenig Litt uenig Både/og Litt enig Helt enig Sum Helt uenig 3 % 1 % 1 % 3 % 52 % 60 % Litt uenig 0 % 0 % 0 % 13 % 7 % 20 % Både/og 0 % 1 % 7 % 4 % 3 % 16 % Litt enig 0 % 0 % 0 % 1 % 1 % 2 % Helt enig 1 % 0 % 0 % 0 % 2 % 3 % Sum 4 % 2 % 8 % 22 % 65 % 100 % Over halvparten av skoleeierne er helt uenig i at det er de som avgjør, mens de er helt enig i at det er skolen som avgjør hvor mye tid som skal gå med til forberedelser. Når vi slår sammen «litt enig» og «helt enig», finner vi at tre av fire skoleeiere mener skolen bestemmer, og at skoleeier ikke bestemmer dette. Den siste fjerdedelen består for det aller meste av skoleeiere som mener at begge parter bestemmer, det vil si at det her er et samarbeid. Bare én av 116 skoleeiere er helt uenig i at skolen avgjør tidsbruken og helt enig i at skoleeier gjør dette Kjennskap til fritaksreglene Fritak fra nasjonale prøver skal foregå i henhold til regelverket nedfelt i Retningslinjene. Detaljene i regelverket som gjelder fritak er beskrevet og kommentert i kapittel 3, og dreier seg i korthet om at elever med forutgående enkeltvedtak om spesialundervisning (Opplæringsloven 5-1) og/eller rett til særskilt språkopplæring for språklige minoriteter (Opplæringsloven 2-8) kan fritas fra nasjonale prøver etter en særskilt og individuell vurdering. Det er skoleleder som skal gjøre denne vurderingen i samarbeid med elevens lærer(e) og foreldre. Fritak og praktisering av regelverket for fritak har vært et tema i mediedebatten om nasjonale prøver, sist i avisene Verdens Gang og Aftenposten januar Vi har i vår undersøkelse ikke gjennomført formell telling eller kontroll av enkeltskolers 13 Se for eksempel «Forsker: Skoler fritar svake elever for å blåse opp resultater» (VG 15. januar og «Ikke bestått for Oslo-skolen» (Aftenposten 24. januar

86 fritakspraksis. Dette vil ifølge regelverket være skoleeiers ansvar. I vår survey til skolelederne har vi imidlertid inkludert spørsmål som angår forståelse og praktisering av regelverket, og i de kvalitative intervjuene med seks skoleledere har vi gått dypere inn i dette temaet for å komme nærmere en forståelse av hvordan disse reglene fungerer. Tabell 5.19 Skoleleders kjennskap til regler for fritak av elever fra nasjonale prøver. Ta stilling til påstandene om regler for fritak av elever fra nasjonale prøver Helt uenig Litt uenig Både /og Litt enig Helt enig Sum Antall (N=) Jeg har god kjennskap til reglene som gjelder for fritak fra nasjonale prøver 1 % 1 % 2 % 15 % 81 % 100 % 602 Jeg synes reglene som regulerer elevers fritak fra nasjonale prøver er klare og entydige 1 % 4 % 14 % 30 % 50 % 100 % 595 Jeg trenger mer veiledning i reglene som regulerer elevers fritak fra nasjonale prøver 52 % 19 % 11 % 14 % 4 % 100 % 588 Svarene er svært skjevt fordelt for alle tre spørsmål. I den grad det er variasjon i svarene mellom grupper av skoleledere, gjelder dette behovet for veiledning i fritaksreglene. For de to andre påstandene er det gjennomgående slik at andelene som er litt eller helt enige er svært høye. Forskjellene kan oppsummeres slik at det er noe mer behov for veiledning om regelverket på små skoler enn på mellomstore og store skoler, og på skoler i små kommuner enn i store kommuner. Behovet er mindre i Oslo og Akershus enn i resten av landet og på ungdomsskoler enn på andre skoler. De største forskjellene finner vi når vi skiller mellom skolene etter kommunens innbyggertall (tabell 5.20) og skolestørrelse. Tabell 5.20 Skoleleders behov for veiledning om regler for fritak av elever fra nasjonale prøver. Etter kommunestørrelse. Jeg trenger mer veiledning i reglene som regulerer elevers fritak fra nasjonale prøver Helt uenig Litt uenig Både/ og Litt enig Helt enig Sum Antall (N=) Under % 19 % 14 % 27 % 4 % 100 % % 20 % 9 % 16 % 6 % 100 % % 18 % 12 % 11 % 2 % 100 % % 21 % 10 % 9 % 6 % 100 % og mer 63 % 17 % 8 % 8 % 4 % 100 % 83 Alle 52 % 19 % 11 % 14 % 4 % 100 % 588 Mens til sammen 31 prosent av skolelederne ved skolene i de minste kommunene mener de trenger mer veiledning, gjelder dette 12 prosent av lederne i de største kommunene. Kommunestørrelse og skolestørrelse henger i stor grad sammen. Det er flere store skoler i store kommuner og flere små i små skoler i små kommuner. Når vi deler inn i fem grupper etter skolestørrelse og ser på behovet for veiledning om regelverket, får vi en svarfordeling som er svært lik den tabell 5.20 viser. Det betyr likevel ikke at skolestørrelse og kommunestørrelse er det samme. Det finnes store skoler i små kommuner og små skoler i store kommuner. Skolestørrelse har betydning for behovet for veiledning om regelverket for fritak både i små og store kommuner, på samme måte som kommunestørrelse har betydning både for små og store skoler. Mange skoleledere har benyttet anledningen til å føye til en egen kommentar om hvordan fritaksreglene praktiseres. Hovedinntrykket her er at reglene oppfattes som presise og at de praktiseres strengt, noe som harmonerer godt med at 80 prosent besvarer surveyen ved å si seg enig i at reglene er klare og entydige. Kommentarer tyder også at skolene foretar den særskilte og 84

87 individuelle vurderingen av hver elev som har enkeltvedtak i tråd med Opplæringsloven 5-1 og 2-8, på en slik måte at disse elevene ikke automatisk får fritak fra prøvene. Det understrekes at slike elever blir fritatt kun når skolen vurderer det slik at elevene vil bli hemmet i sin faglige utvikling ved å delta i nasjonale prøver. Berre elevar som har spesialundervisning og IOP med store avvik frå klassen sitt opplegg, vert fritatt. Fleire elevar med enkeltvedtak deltar i nasjonale prøvar. Hos oss fritas ingen elever, med mindre de har en funksjonshemming som gjør at de ikke er i stand verken til å lese eller svare for seg. Skulen har klår politikk på at flest mogeleg skal gjennomføre nasjonale prøver. Vi prioriterer deltaking og inkludering i gjennomføringa, og har svært få fritak frå prøvene. Vi vurderer at det er viktigare at flest mogeleg elevar deltek saman med klassen framfor at skulen får best mogeleg posisjon på listene over karakterar. Noen skoleledere oppfatter imidlertid reglene som for rigide, slik at elever som skolen mener ikke bør delta i prøvene, likevel ikke kan fritas. Et tema som går igjen i flere av kommentarene, og som lærerne dessuten er svært opptatt av, gjelder elever med dysleksi, konsentrasjons- eller atferdsproblemer. Her kan det dreie seg om tilrettelegging like mye som fritak. Synes det er vanskelig at elever med dysleksi skal gjennomføre på linje med alle andre elever. Dette er også spesielt vanskelig i forhold til engelsk. Har man problemer med å lese på norsk, er det ennå vanskeligere å lese engelsk. Vi har elever som har grått seg gjennom nasjonal prøve i engelsk. Mener det bør legges opp mulighet til lytting, altså audiobaserte prøver som et alternativ for elever med dysleksi. Prøvene er diskriminerende slik de er i dag. Som vi allerede har vært inne på og skal komme tilbake til nedenfor i gjennomgang av det kvalitative intervjumaterialet, kan det oppstå problemer for slike elever når det ikke på forhånd foreligger enkeltvedtak om spesialundervisning eller rett til særskilt opplæring i norsk. Skoleleder har ingen hjemmel for å frita disse elevene fra nasjonale prøver. I tillegg til at regelverket i seg selv setter strenge krav for fritak, opplever noen skoleledere at skoleeiers ønske om å ha minst mulig fritak kan gjøre oppgaven vanskelig: Skoleeier setter prestisje i ikke å ha fritak. Dette gjør det vanskelig med tanke på enkelte elever. Samtidig er flere av skolelederne opptatt av at fritaksreglene gir rom for ulik praksis på forskjellige skoler, og opplever dette som upresist eller i verste fall urettferdig. Gjennom de kvalitative intervjuene ønsket vi å komme nærmere forståelser av praksis rundt fritak. Ved intervju med representanter fra ledernivå og rådgivernivå i Utdanningsdirektoratet (se kapittel 3) ble det understreket at disse reglene nødvendigvis må gi den enkelte skoleleder frihet til vurdering innenfor de gitte rammer. På en av barneskolene som vi besøkte, var det svært mange elever med minoritetsspråklig bakgrunn. Her understreker skoleleder at fritak blir vurdert svært nøye med hensyn til at prøven eventuelt må sies ikke å ha noen betydning for eleven videre. Dette innebærer mer enn at eleven ikke har en norskspråklig bakgrunn. Hvis eleven kun har bodd i Norge i kort tid, stiller saken seg ifølge denne skolelederen annerledes. Likevel kan en slik elev vurderes for regneprøven eller for engelskprøven. Videre er det elever på denne skolen som hadde enkeltvedtak om spesialundervisning, også i kombinasjon med minoritetsspråklig bakgrunn. Om dette mener skolelederen i en avveining mot mestringsopplevelse og resultater: Vi har latt dem være med på en testkjøring med en eldre prøve, og vi ser at der det er noenlunde like betingelser for at de kan ta en av prøvene og klare å få et svakt resultat, men dog, å ha utbytte av det, så lar vi dem være med. Hvis dette derimot var problematisk for dem, 85

88 så fritar vi dem. Men vil de dette selv, så lar vi dem få være med. Så får vi heller leve med resultatet, da. Jeg synes de fortjener å få prøve seg hvis de vil. De som har fritak i år, er elever som strever veldig, både med at de har spesialundervisning og at de er minoritetsspråklige, og har hatt vanskeligheter over lang tid. Men selv da det er ikke noen automatikk i dette. (rektor 1) Av intervjumaterialet kan det synes som om bevisstheten og praksis i den lokale forvaltningen av regelverket har vært i utvikling. På en ungdomsskole beskriver skoleleder utviklingen og avveiningene om fritak slik: Over de siste fire-fem årene har vi vel gått en vei fra der vi i relativt stor grad tenkte at elever som ikke har noe særlig norskkunnskaper, fritas sånn blanko, mens nå jobber vi med å trekke stadig flere elever inn i dette og få et mer nyansert syn på det. Vi ser jo for eksempel at noen av disse elevene har gode regnekunnskaper når de kommer, og da er spørsmålet om de skal få være med på den nasjonale prøven i regning. Men så ser vi jo også at regneprøven forutsetter en god del leseforståelse, og da må vi gjøre en vurdering: Skal vi sørge for at de får den nødvendige hjelpen til å forstå problemstillingen og være med på nasjonale prøver, eller skal vi rett og slett si at også der er språk en barriere? ( ) Men vi gjør noe med dette nå, vi flytter jo en del [av disse] elever inn i systemet for nasjonale prøver og ser at de har veldig lav måloppnåelse. Hvis man ikke kjenner til bakenforliggende forhold som at denne ungdomsskolen er en mottaksskole, fortsetter denne skolelederen, kan man lett bli forvirret hvis man kun leser skolens resultater. Om sammenhengen mellom fritak og resultater sier den samme skolelederen: Jeg skal ikke underslå at det er enkelte i personalet som kan kjenne på og føle på at hvorfor skal vi presse dette så langt når resultatet, som til og med kommer i avisene, viser at vi tilsynelatende gjør en dårlig jobb? For våre resultater er dårligere enn de skolene vi sammenligner oss med, for eksempel de andre ungdomsskolene her i kommunen. Vi jobber med å snakke om hvorfor vi gjør dette. Og jeg er veldig tydelig på at jeg gjerne vil ha et reelt bilde av det som skjer, og at vi skal følge de reglene som gjelder, og at det kun er de elevene som har 5-1 vedtak eller 2-8 vedtak som i det hele tatt kan vurderes. Og det er klart at det er vanskelig på forhånd å vurdere disse elevenes nytte av prøven, særlig på 8. trinn hvor vi ikke kjenner elevene så godt ennå. Kanskje vil vi ta litt for mye Møllers tran, det vil si at vi blir litt ivrige på at alle skal med, og så ser vi etterpå at det i noen tilfeller ble feil. Å være for streng i praktiseringen av regelverket, slik denne skolelederen beskriver det, underbygges av enkelte skolelederes bekymring for elever som kanskje egentlig ikke burde ha tatt prøven, og som kan ha vonde opplevelser forbundet med nederlag eller dårlig mestring i prøvesituasjonen. «Møllers tran» kan i disse tilfellene vise til skolers innsats for å redusere andel elever med enkeltvedtak om spesialundervisning, kompensert ved at elevene i større grad mottar tilpasset undervisning i helklassesituasjonen. «Vi har jobbet beinhardt med å redusere antall elever med spesialundervisning,» forteller en av skolelederne i intervjuet, «fordi vi mener at veldig mange av dem som har hatt enkeltvedtak egentlig er elever som kan klare seg med tilpasset opplæring, og som har måloppnåelse, selv om den er lav.» På bakgrunn av slike uttalelser bedømmer vi det derfor slik at innsats for å redusere antall enkeltvedtak om spesialundervisning kan havne i direkte konflikt med et behov for å skjerme en utsatt gruppe elever for påkjenninger som en nasjonal prøve kan medføre. Særskilt om fritak Selv om variasjon i resultater fra nasjonale prøver kan forklares med andelen som fritas fra prøvene, og selv om denne sammenhengen kan være sterkest ved skoler med høy andel minoritetsspråklige, bør ikke dette overraske. Når mange elever har enkeltvedtak om særskilt språkopplæring, vil mange kunne vurderes for fritak, og da vil fritaksandelen naturlig nok kunne bli høy. Analyser av slike sammenhenger må ta hensyn til hva som ligger bak hvert enkelt vedtak om fritak, fordi grunnlaget for 86

89 vedtaket er en individuell vurdering som ikke skal være kjent for offentligheten. To skoler med samme andel elever som i utgangspunktet har enkeltvedtak, enten om spesialundervisning eller særskilt språkopplæring, kan komme ut med helt ulik andel som gis fritak fra nasjonale prøver, fordi det kan være stor variasjon i situasjonen til de elevene som i utgangspunktet har enkeltvedtak og som kan vurderes for fritak. Ved en skole kan det være forsvarlig at de aller fleste av disse elevene gjennomfører nasjonale prøver, mens kanskje bare noen få vil få noe ut av prøven ved en annen skole. I tillegg kommer at hver enkelt skoleleder i noen grad kan anvende skjønn når elever skal vurderes for fritak. 5.2 Gjennomføringen av prøvene I tilknytning til gjennomføringen av prøvene er skolelederne stilt tre spørsmål som gjelder hvordan dette har gått rent teknisk, det vil si om de hadde tilstrekkelig med datamaskiner, om maskinvaren var oppdatert og om lærerne på skolen hadde tilstrekkelig datakompetanse til å administrere prøvene (tabell 5.21). Her framgår det at det stort sett er tilfredshet med dette. Omtrent to av tre er helt enig i påstandene om tilgang på datamaskiner og kompetanse blant lærerne for å gjennomføre prøvene i regning og engelsk. Det er dessuten stort sammenfall i vurderingen av om antall datamaskiner er tilstrekkelig og om maskinvaren er tilstrekkelig oppdatert. Over 90 prosent av de som er helt enig i det ene utsagnet er også helt enig i det andre. (Ikke vist i egen tabell). Tabell 5.21 Erfaring med teknisk gjennomføring av prøvene. Erfaringer med nasjonale prøver Helt uenig Litt uenig Både/ og Litt enig Helt enig Antall (N=) Sum Skolen har tilstrekkelig antall datamaskiner for å gjennomføre nasjonale prøver (regning og engelsk) 3 % 8 % 6 % 16 % 68 % 100 % 606 Skolen har tilstrekkelig oppdatert maskinvare for å gjennomføre nasjonale prøver (regning og engelsk) 3 % 6 % 6 % 16 % 70 % 100 % 605 Lærerne på skolen har tilstrekkelig datakompetanse for å administrere nasjonale prøver 1 % 2 % 14 % 18 % 65 % 100 % 606 Vi har sett nærmere på om det er noen variasjon i tilgangen på datamaskiner og kompetanse mellom skolene. På ett punkt er det tydelige forskjeller, og det gjelder den geografiske dimensjonen. Selv om situasjonen ser ut til å være ganske god i alle deler av landet, skiller Midt- og Nord-Norge seg signifikant fra resten av landet med noe lavere tilgang både til maskinvare og når det gjelder lærernes kompetanse. 87

90 Figur 5.6 Dataressurser etter landsdel. 1 = «Helt uenig», 5 = «Helt enig». Det vi ellers finner er at private skoler har litt bedre tilgang på datamaskiner generelt enn offentlige skoler og at skoler i de største kommunene har litt bedre tilgang på oppdatert maskinvare enn skoler i de øvrige kommunene. Vi finner ingen forskjeller av betydning når det gjelder skoleslag eller skolestørrelse. Gjennom de kvalitative intervjuene med skoleledere har vi fått nærmere innblikk i hvordan skolene arbeider med de datatekniske løsningene som kreves i forbindelse med nasjonale prøver. Her er det stor forskjell mellom skoler. Noen skoler, som vi har besøkt, inngår i kommunale eller interkommunale IKT-systemer for leasing og oppdatering av maskinpark, med såkalt helpdesk og/eller kursing. Lederne ved disse skolene forteller også om et godt utbygd lokalt system der en lærer eller assisterende rektor har særskilt ansvar for IKT og bistår faglærer før eller også under prøvegjennomføringen. Dette utelukker imidlertid ikke at det er en god del rent praktisk og administrativt forarbeid med å teste og klargjøre pc-er før nasjonale prøver. På en av skolene vi besøkte var også skoleleder involvert i dette (se kapittel 7). En av skolene i utvalget vårt skiller seg fra de øvrige ved å ha en gammel og dårlig oppdatert maskinpark. På denne skolen har det heller ikke vært klare rutiner for testing og klargjøring av maskinene verken før nasjonale prøver eller ved mer generell bruk, og ifølge skoleleder (som er nyansatt) har dette vært en ekstra belastning for lærerne så vel som for elevene. 88

91 5.3 Etter gjennomføring av prøvene Etter at nasjonale prøver er gjennomført har skoleleder ansvar for at en rekke oppgaver ivaretas. Tabell 5.22 Skoleeiers og skoleleders ansvar for registrering etter nasjonale prøver. Skoleeier skal Se til at alle resultatene fra leseprøvene blir registrert innen fristen, se punkt 2.1. Sørge for at antallet elever registrert i PAS stemmer overens med det reelle elevtallet på skolene og i kommunen. Følge opp resultatene på kommunenivå. Vurdere om det skal innføres tiltak for å bedre resultatene på kommunenivå. Vurdere om enkelte skoler trenger særskilt støtte til å følge opp resultatene. Se til at skolene analyserer og bruker resultatene. (Kilde: Retningslinjene s. 14) Skoleleder skal Sørge for at alle resultatene fra leseprøvene blir registrert innen fristen, se punkt 2.1. Sjekke registreringen av fritatt og ikke deltatt. Det er tre kategorier som gjelder: 4. «gjennomført» - alle som har gjennomført og levert prøven sin 5. «fritatt» - elever som er fritatt etter reglene i punkt 2.3 om individuelt fritak 6. «ikke deltatt» - elever som er fraværende på prøvedagen/i prøveperioden, og som ikke har hatt mulighet til å gjennomføre prøven innenfor prøveperioden Sørge for at antallet elever registrert i PAS stemmer overens med det reelle elevtallet på skolen. Følge opp resultatene på skolenivå i det lokale forbedrings- og utviklingsarbeidet. Legge til rette for at alle lærere følger opp resultatene i klassen. Sørge for at elevene og foreldrene får tilbakemelding om resultatene, og at dette sees i sammenheng med annen relevant vurderings-informasjon som læreren har fra før Registrering av elevstatus etter prøvene Etter at nasjonale prøver er gjennomført, skal den enkelte elevs status registreres. Elever som ikke har deltatt i prøven, skal registreres som enten fritatt eller med lovlig fravær (for eksempel sykdom). Målet er at alle elever som er påmeldt til prøven (det vil si alle elever på trinnet) skal gjenfinnes i disse kategoriene etter prøven. Tabell 5.23 Hvordan følger du opp registrering av elevstatus etter gjennomføring av nasjonale prøver? Andel "ja" Antall (N=) Jeg minner lærerne om reglene for registrering av elevstatus etter nasjonale prøver 69 % 612 Jeg veileder lærerne i reglene om registrering av elevstatus etter nasjonale prøver 54 % 612 Jeg kontrollerer at lærerne har fulgt reglene for registrering av elevstatus etter nasjonale prøver 61 % 612 Jeg sørger for registrering av elevstatus etter nasjonale prøver på skolens vegne 50 % prosent av skolelederne minner lærerne om reglene for registrering av elevstatus etter prøvene, 54 prosent veileder lærerne i reglene, mens 61 prosent kontrollerer at lærerne har fulgt reglene. 89

92 Halvparten av skolelederne sørger selv for registrering av elevstatus etter prøvene. Ut fra svarfordelingen kunne man kanskje tro at de skolelederne som oppgir at de sørger for registrering av elevstatus, følger opp lærerne i mindre grad enn andre skoleledere, slik at de i praksis står for dette arbeidet selv. Slik er det imidlertid ikke. Flertallet av dem svarer nemlig «ja» også på hver av de tre andre oppgavene. Av de 308 som svarer ja på det siste spørsmålet er det 100, eller hver sjette skoleleder i alt, som svarer «ja» bare på det siste spørsmålet og dermed kan sies å «gjøre hele jobben selv». Det viser seg at dette, ikke overraskende, er vanligere på små skoler enn på store. For øvrig er det ikke særlig store forskjeller mellom ulike grupper av skoler når det gjelder dette fenomenet. Det viser seg å være helt ubetydelige forskjeller mellom de ulike skoleslagene når det gjelder arbeidet med registrering av elevstatus. Det er heller ikke forskjeller mellom skoler etter folketallet i kommunen de ligger i. Vi finner derimot at skolestørrelse har en betydning (tabell 5.24). Skillet kan her se ut til å gå mellom de minste skolene på den ene siden og de mellomstore og største på den andre. Tabell 5.24 Hvordan følger du opp registrering av elevstatus etter gjennomføring av nasjonale prøver? Andel «ja» etter skolestørrelse. De minste De mellomstore De største Alle Jeg minner lærerne om reglene for registrering av elevstatus etter nasjonale prøver 62 % 72 % 69 % 69 % Jeg veileder lærerne i reglene om registrering av elevstatus etter nasjonale prøver 44 % 57 % 59 % 54 % Jeg kontrollerer at lærerne har fulgt reglene for registrering av elevstatus etter nasjonale prøver 54 % 61 % 68 % 61 % Jeg sørger for registrering av elevstatus etter nasjonale prøver på skolens vegne 52 % 51 % 48 % 50 % Antall (N=) Vi finner også en geografisk forskjell, og også denne gangen er det Oslo og Akershus som skiller seg ut med høyere andeler på alle fire spørsmål. I motsetning til hva vi har sett tidligere, skyldes ikke dette at Oslo står i en særklasse. Her har begge fylker relativt høyere verdier. Tabell 5.25 Hvordan følger du opp registrering av elevstatus etter gjennomføring av nasjonale prøver? Andel «ja» etter landsdel. Oslo og Akershus Sør- og Vestlandet Midt- og Nord-Norge Østlandet Alle Jeg minner lærerne om reglene for registrering av elevstatus etter nasjonale prøver 71 % 67 % 68 % 70 % 69 % Jeg veileder lærerne i reglene om registrering av elevstatus etter nasjonale prøver 67 % 49 % 53 % 53 % 54 % Jeg kontrollerer at lærerne har fulgt reglene for registrering av elevstatus etter nasjonale prøver 69 % 58 % 60 % 62 % 61 % Jeg sørger for registrering av elevstatus etter nasjonale prøver på skolens vegne 63 % 47 % 51 % 46 % 50 % Antall (N=) Når skolelederne blir bedt om å oppgi andre forhold som har relevans for registrering av elevstatus etter prøvene, får vi svar som likner svært mye på de åpne kommentarene som gjaldt påmelding til nasjonale prøver. Flere skoleledere forteller at dette arbeidet er delegert til inspektør, sekretær, 90

93 avdelingsleder, IKT-ansvarlig eller andre personer i skolens stab. Flere peker også på at dette arbeidet foregår i en tett dialog mellom lærere og ledelse Bruken av resultatene fra prøvene Gjennom de kvalitative intervjuene har vi vært spesielt opptatt av å få vite mer om hvordan skoleleder arbeider sammen med lærerkollegiet for å følge opp resultatene fra nasjonale prøver. Det første flere av disse skolelederne understreker, er nødvendigheten av å ta inn over seg hva resultatene forteller: Vi er jo en skole som over tid har slitt mye for å nå de resultatene vi ville nå, så hos oss har det handlet om en sorgprosess å innse det, å gjøre det sammen, og så bestemme oss for hva vi vil gjøre videre. Noen år har vært verre enn andre. Og det er jo en sorgprosess, for vi står jo på hele tiden, og så blir det ikke bedre enn det her? Den må man ta på alvor. Så vi har tegnet opp noen hovedmåter å reagere på, at man enten bare ser ytre forklaringer, som at det er elevene våre, eller det er de foresatte som ikke følger godt nok opp, eller at det er rektor som ikke har tilrettelagt godt nok for oss. Man kan finne mange motiver. Og tilsvarende kan jo jeg gjøre. Jeg kan skylde på mye. Men så er det den andre retningen, som går på at man tar alt innover seg selv, da. At man tenker: hvor dårlig er jeg, da, som ikke fikser det bedre? Og så har vi landet på noe som kanskje er midt imellom, at man må kunne se om det er noe man kan gjøre annerledes selv, og samtidig godta at det er ytre faktorer som kanskje gjør at det er vanskeligere å oppnå gode resultater på denne skolen enn på andre skoler. Men at dette faktisk er virkeligheten, og at vi må finne en måte å løse dette på. Det er aldri morsomt å være den dårligste i kommunen, men det er i hvert fall min klare mening at slik jeg vil jobbe, så skal dette brukes som et kartleggingsverktøy, på lik linje med andre kartlegginger, og gi oss klare tilbakemeldinger på hva det er vi skal jobbe videre med i klasserommene uavhengig av hvordan tallene ser ut. Og så får jeg heller bare forsvare det i forhold til kommune eller til FAU at her er vi, og vi er på en måte ikke bedre enn dette, men vi skal bli bedre. Og det første steget til å bli bedre, det er etter min oppfatning at vi ser hvor dårlige vi er og tør å kjenne litt på det. Også denne siste skolelederen viser i intervjuet til hvor lett det kan være å forklare dårlige resultater med ytre faktorer, også ved elevmassen. Dette gjelder kanskje i særlig grad for ungdomsskoler, hvor avgiverskolen er ansvarlig for elevenes læringsutbytte fra 1. til 7. årstrinn. En holdning på ungdomsskoler, som vi også skal komme tilbake til i kapittel 6 som tar for seg lærersurveyen, kan nemlig være at ungdomsskolen ikke kan stilles ansvarlig for elevenes resultater på nasjonale prøver på 8. trinn. Da har elevene gått på skolen i bare noen få uker. En tredje skoleleder, som arbeider på en ungdomsskole med jevne og gode resultater over tid, stiller seg imidlertid helt avvisende til slike holdninger. Han påpeker at selv om de gode resultatene på skolen hans kan skyldes at elevene har gått på gode barneskoler og at mange av dem har ressurssterke foreldre med høy utdannelse, kan ikke han eller lærerne hans la resultatene ligge. Ved å sammenligne seg med andre skoler som har lignende forutsetninger for gode resultater, må kollegiet likevel arbeide for å gjøre skolen bedre slik at alle elevene kan få økt læringsutbytte uavhengig av bakgrunn. «Det er veldig lett å lene seg tilbake og si jammen det går jo så bra,» sier en annen skoleleder som kan vise til gode resultater, «men det er jo det som er den store faren. Vi må hele tiden tenke hva er det som er bra som vi kan opprettholde?» En tredje skoleleder bruker en metafor fra idrettsbanen, og sier at prøvene ikke skal være en «løpetest». Med dette mener hun at skolen ikke kommet i mål selv om resultatet er kjent det er først da jobben starter. Alle skolelederne vi har snakket med, understreker at det er et kollektivt ansvar for ledelse og lærere å gripe tak i resultatene fra prøvene. De sier også at resultatene angår lærerne på alle trinn, ikke bare 5. respektive 8. årstrinn. Likevel er ikke veien videre automatisk stukket ut: «Det er liksom litt faren med disse prøvene,» sier en av skolelederne, «at vi sitter der på det ene møtet etter det andre og bare ser på disse resultatene. Men å bruke dem aktivt, det er et stykke arbeid.» Alle skolelederne presenterer resultatene i plenum. De fleste av dem er mest interessert i å finne årsaken til dårlige resultater, men 91

94 et par av dem peker også på at de burde hatt flere elever på det høyeste mestringsnivået. Dermed blir målsettingene med arbeidet todelt: enten å finne ut hvorfor elever befinner seg i bunnen eller hvorfor de ikke befinner seg i toppen av skalaen. I dette inntrer det skoleledere kaller en analysefase. Her bringer de fleste av skolelederne i materialet vårt inn større deler av lærerkollegiet, for eksempel lærerne på trinn eller hele ungdomstrinnet, for å se på den helhetlige opplæringen i grunnleggende ferdigheter på skolen. «Det må ikke bli sånn at den og den læreren gjorde det bra,» sier en av skolelederne. «Det er skolens praksis det er snakk om, og vi må se på hva vi kan lære av hverandre.» I det en skoleleder kaller konsekvensfasen har skolen kommet frem til hvordan de skal arbeide med resultatene. Denne planen kan ha blitt utviklet på trinn, team eller i ledelsen, men flere skoleledere forteller om en prosess for å forankre plan- og utviklingsarbeidet bredere i kollegiet. Med hensyn til resultater av skolenes interne prosesser, ser vi av intervjumaterialet at en av skolene har foretatt en gjennomgående bearbeiding og utvikling av sitt vurderingssystem, mens mange av skolelederne snakker om styrket satsning på lesing over flere år. På flere av skolene er dette helt gjennomgående, og en skoleleder beskriver dette slik: Vi er opptatt av lesing, og alle er lærere er leselærere. Lesing er gjennomgående i alle fag, og vi ser at noen elever strever med lesing i matematikk. Det så vi på de siste nasjonale prøver, at tekststykkene blir vanskelige. Så alle lærere har et ansvar å arbeide med de grunnleggende ferdighetene, som bl.a. lesing og regning. Det tar tid å arbeide grundig med lese- og læringsstrategier slik at det blir et godt verktøy for elevene. Derfor er det viktig at alle lærere følger opp skolens felles plan og prioriterer dette arbeidet. Andre skoleledere forteller om tiltak som kan være endrede måter å arbeide på, for eksempel å utnytte de fordeler en bestemt skole tross alt har i at den har små klasser. På et mer formelt plan er det skoler i det kvalitative materialet vårt som har sørget for at etterarbeidet med prøvene har fått plass i skolens årshjul, slik at det blir satt av tid til dette i kollegiet. Flere av skolelederne viser spesielt til de nye verktøyene for analyser av nasjonale prøver som har blitt gjort tilgjengelig for lærerne fra høsten 2012, og berømmer disse. Som vi skal se av lærersurveyen og intervjuer med lærere i kapittel 6, er det likevel mer varierende hvorvidt lærere sier at de har tatt i bruk disse verktøyene, og hvor tilfredse de er med dem Skoleleders overordnede erfaring med prøvene Siste del av spørreundersøkelsen blant skolelederne er tre påstander som er tenkt å kartlegge ulike former for erfaringer skoleleder har med nasjonale prøver. Tabell 5.26 Hvilke erfaringer har du som skoleleder fra arbeidet med nasjonale prøver så langt? Erfaringer med nasjonale prøver Helt uenig Litt uenig Både/ og Litt enig Helt enig Antall (N=) Sum Nasjonale prøver har gitt meg som skoleleder et godt redskap til å utvikle skolen 4 % 7 % 29 % 39 % 21 % 100 % 604 Nasjonale prøver har gitt lærerne på skolen min et godt redskap for å utvikle elevenes læringsresultater 3 % 5 % 26 % 43 % 22 % 100 % 602 Resultatene fra nasjonale prøver påvirker avlønningen av lærere på skolen min 92 % 3 % 3 % 1 % 0 % 100 % 604 De to første utsagnene gjelder hvorvidt nasjonale prøver er et godt redskap for å utvikle skolen og for å utvikle elevenes læringsresultater. Her er det en tydelig overvekt på det positive siden, med henholdsvis 60 og 65 prosent som er litt eller helt enig og med et tyngdepunkt mellom «Både og» og «Litt enig». Det er også en litt mer positiv vurdering på vegne av lærerne enn det er på vegne av skolelederne selv. Svært få er uenig i de to utsagnene, bare henholdsvis sju og tolv prosent, men en 92

95 drøy fjerdedel har et mer forbeholdent syn og svarer «Både og». Vi kommer nærmere tilbake til disse spørsmålene nedenfor. Det siste utsagnet gjelder betydningen av nasjonale prøver for lærernes lønn. Utsagnet avvises av 95 prosent av skolelederne, og så mange som 92 prosent er helt uenig i at prøveresultatene påvirker avlønningen. Bare en prosent er litt enig, mens ingen er helt enig. I vårt materiale, som for dette spørsmålet omfatter 604 skoleledere, finner vi åtte som er helt eller litt enig i dette utsagnet. Seks av disse kommer fra skoler i Oslo. Det samme gjelder åtte av de 18 som har svart «både og» på spørsmålet. I den grad resultater fra nasjonale prøver påvirker avlønningen av lærerne, så er dette altså et Oslo-fenomen, og Oslo skiller seg signifikant fra alle de 18 andre fylkene på dette punktet. Vi skal nå se litt nærmere på variasjonen i oppfatningen av nasjonale prøver som et godt redskap for skoleleder og lærere. For å gjøre dette på en mest mulig rasjonell og oversiktlig måte som viser hovedtrekkene, men der detaljene ikke er med, bruker vi diagrammer som viser gjennomsnittsverdier og konfidensintervall rundt gjennomsnittet. Vi finner signifikante forskjeller når vi deler inn materialet etter alle de kjennetegnene ved skolene vi har brukt til nå. Minst er utslagene når vi skiller mellom skoletypene, så dette velger vi ikke å vise med egen figur. Det vi her finner er at skolelederne ved 1-10 skolene er noe mer forbeholdne med hensyn til egen nytte av nasjonale prøver enn lederne ved barneskoler og ungdomsskoler. Når vi skiller mellom skolene etter elevtall, finner vi langt tydeligere forskjeller (figur 5.7). Kort fortalt er det slik at jo flere elever skolen har, desto mer enig er skoleleder i at nasjonale prøver er et nyttig redskap i arbeidet, både for skoleleder selv og for lærerne. Forskjellen er tydeligst når vi sammenlikner de minste og de største skolene, mens kategoriene i mellom disse har tilnærmet de samme verdiene. Likevel er det nærmest en lineær funksjon som her avtegner seg. I tall tilsvarer forskjellen mellom de minste og største skolene at mens 15 prosent av lederne på de minste skolene er helt enig i utsagnet «Nasjonale prøver har gitt meg som skoleleder et godt redskap til å utvikle skolen», er andelen 35 prosent ved de største skolene. Figur 5.7 Nytte av nasjonale prøver etter skolestørrelse. 1 = «Helt uenig», 5 = «Helt enig». 93

96 Forklaringen på variasjonen etter skolestørrelse kan være så enkel som at resultatene er sikrere for store skoler enn for små, og dette er nok mange skoleledere klar over. For eksempel har omtrent halvparten av barneskolene færre enn 30 elever på femte årstrinn og i gjennomsnitt har de 24 elever på dette trinnet. Da blir det stor usikkerhet rundt resultatene når man sammenlikner fra år til år eller med andre skoler. Prøveresultatene vil da ha nytte først og fremst på elevnivå, selv om det også her er begrenset hva som kan gis av tilbakemelding til den enkelte elev og til foresatte. Også folketallet i kommunen skolen samvarierer med de to utsagnene om nytten av nasjonale prøver, og igjen er det snakk om en nærmest lineær sammenheng (figur 5.8) som ligner til forveksling på den vi finner i figuren for skolestørrelse. Ved siden av dette finner vi at holdningen er mer positiv ved offentlige skoler enn ved private. Endelig finner vi forskjeller etter landsdel og fylke. Her peker Oslo seg ut som det fylket der holdningene er desidert mest positive til nasjonale prøver som et redskap for å utvikle skolen. Figur 5.8 Nytte av nasjonale prøver etter kommunestørrelse. 1 = «Helt uenig», 5 = «Helt enig». Vi vil til slutt gjøre en multivariat analyse der vi introduserer alle de bakgrunnsvariablene vi har brukt til nå for å se hvem av dem som viser sterkest samvariasjon med den opplevde nytten av nasjonale prøver. For å få større variasjon i den avhengige variabelen, lager vi en indeks der vi slår sammen de to spørsmålene om nasjonale prøver som redskap for å utvikle skolen og elevenes læringsresultater. I tabell 5.27 presenterer vi ni ulike forhold som viser en signifikant samvariasjon med den opplevde nytten. Den sterkeste samvariasjonen finner vi med utsagnet om at elevene forberedes ekstra til nasjonale prøver i tiden før prøvene. Dette er ikke overraskende, og man kan spørre seg om hvilken retning denne sammenhengen har. Er det opplevd nytte som gjør at man forbereder elevene, eller er det forberedelsen som fører til ekstra opplevd nytte? Det mest sannsynlige er kanskje at det her er en vekselvirkning. 94

97 Vi finner en relativt sterk negativ verdi for friskolene, noe som kanskje kan forklares med at disse skolene ikke identifiserer seg like naturlig med prøvene som et arbeidsredskap for å utvikle den nasjonale skolen fordi de ofte har egne læreplaner. En tilsvarende sterk positiv verdi finner vi for skolelederne i Oslo. Her har vi prøvd ulike geografiske inndelinger, men konklusjonen blir at hovedskillet går mellom skolene i Oslo på den ene siden og alle andre fylker på den andre. Når skoleleder kontrollerer at lærerne følger reglene for påmelding til prøvene og registrering av status etter prøvene, øker den opplevde nytten av prøvene hos skoleleder. Også her er det grunn til å peke på at effekten kan gå begge veier, slik at skoleleder opplever at prøvene er et nyttig redskap og derfor kontrollerer at lærerne følger reglene slik at resultatene skal bli mest mulig pålitelige. Vi finner også en positiv verdi når skoleleder kjenner fritaksreglene godt, og også her kan sammenhengen ha to retninger. Det å sette seg godt inn i fritaksreglene kan øke opplevelsen av at prøvene er nyttige, samtidig som at en opplevelse av prøvene som nyttige kan være en ekstra spore til å sette seg godt inn i fritaksreglene, slik at skolen får mest mulig pålitelige resultater. Når skolen har tilstrekkelig antall datamaskiner, øker den opplevde nytten av prøvene, og her er det liten grunn til å spekulere over retningen på sammenhengen. Når skoleleder opplever å ha kontroll med tiden som går med til forberedelser av elevene, øker den opplevde nytten av prøvene, og her er det vel også grunn til å tro at sammenhengen har en relativt entydig retning. Omvendt er det når skoleleder opplever at annen undervisning settes til side for å øve til prøvene. Dette reduserer den opplevde nytten og kan også se på som en årsakssammenheng. Vi finner en svak effekt av skolestørrelse, slik at skoleledere ved små skoler opplever prøvene som mindre nyttige enn de ved store skoler. Vi har tidligere pekt på at noe av forklaringen på dette kan være at usikkerheten rundt resultatene fra nasjonale prøver minsker med økende elevtall. Tabell 5.27 Resultater av lineær regresjonsanalyse for å analysere samvariasjonen mellom opplevd nytte av nasjonale prøver og ni forskjellige forhold. N = 562. B Std. Feil B Beta t Sig Konstantledd 1,297 0,387 3,352 0,001 Elevene forberedes ekstra til nasjonale prøver i tiden før prøvene 0,143 0,033 0,189 4,302 0,000 Friskole -0,503 0,161-0, ,128 0,002 Oslo 0,542 0,173 0,125 3,129 0,002 Skoleleder kontrollerer at lærerne følger reglene for nasjonale prøver 0,146 0,049 0,119 2,990 0,003 Tilstrekkelig antall datamaskiner for å gjennomføre prøvene 0,103 0,036 0,113 2,867 0,004 Skoleledelsen bestemmer hvor mye tid skolen skal bruke på å forberede elevene 0,066 0,026 0,100 2,557 0,011 Det hender at annen undervisning settes til side for å øve til nasjonale prøver -0,078 0,035-0,099-2,266 0,024 Elevtall (logaritmisk) 0,101 0,043 0,098 2,316 0,021 Skoleleder har god kjennskap til reglene som gjelder for fritak fra nasjonale prøver 0,144 0,065 0,089 2,219 0,027 Andel forklart varians: 16,5 prosent Vi finner altså en svak effekt av skolestørrelse, slik at skoleledere ved store skoler opplever prøvene som mer nyttige enn skoleledere ved små skoler. Vi har tidligere pekt på at noe av forklaringen på dette kan være at usikkerheten rundt resultatene fra nasjonale prøver minsker med økende elevtall. I 95

98 kapittel 8 dokumenterer vi at så mange som 43 prosent av de 1635 barneskolene har færre enn 20 elever på femte trinn, mens dette gjelder 67 prosent av de skolene. Med så få elever som tar nasjonale prøver vil det knyttes stor usikkerhet til resultatene på skolenivå og sammenlikning fra et år til et annet og mellom skoler vil i praksis være umulig. Dette kan gjøre at opplevelsen av nytten ved prøvene synker. Gjennom intervjuene har vi fått inntrykk av at skolelederne følger regelverket samvittighetsfullt, og at de jobber systematisk eller ønsker å jobbe systematisk med oppfølgingen av resultatene. Likevel syntes vi det var interessant å spørre skolelederne i intervjuet hva de mener om nasjonale prøver. Hovedinntrykket er at de fleste skolelederne synes at nasjonale prøver har funnet sin form som et system og at systemet fungerer godt, selv om flere av dem ønsker å ta forbehold og si at dette ikke er det samme som at systemet er helt uproblematisk. I dette skiller skolelederne mellom den nytte de opplever å ha av prøvene i utviklingen av skolen og den støy, debatt og kritikk som har vært rettet mot prøvene og publisering av resultater, og som ifølge disse skolelederne kan bidra til å trekke oppmerksomheten bort fra det prøvene faktisk kan brukes til. Flere av skolelederne mener også at prøvene i seg selv er gode. Med summen av disse vurderingene viser skolelederne til at det har vært en utvikling i positiv retning når det gjelder nasjonale prøver, og at særlig den betydelige reduksjonen i rettearbeidet (som fulgte de tidlige versjonene av prøvene før 2007) gjør forholdene bedre for lærerne. En av skolelederne sier dette om hvordan holdningen til prøvene har vært i endring: Jeg har måttet ta et oppgjør både med meg selv og med enkelte lærere om hva nasjonale prøver er det er kommet og det kan være et bra redskap for oss for å se hvor vi skal rette innsatsen vår. Jeg synes ikke vi skal kimse av det. Vi har kanskje sett litt lettvint på det og tenkt at jaja, det er en tilfeldig prøve en gang i september, og så har vi bagatellisert det litt. Så den oppvåkningen synes jeg på en måte har kommet de siste årene, og den tror jeg for så vidt er riktig også at vi skal ha det og bruke det internt. Dette synes jeg er veldig viktig. En annen skoleleder sier at han ønsker prøvene velkommen, «fordi det handler jo om at vi skal vite hva vi driver med», som han utdyper: «Vi skal kjenne målgruppa, vi skal kunne gå så detaljert inn på den enkelte elev at vi vet hvor skoen trykker. Vi kan ikke stå foran en klasse med elever og bruke røntgensyn og se hvor dette treffer.» Imidlertid påpeker også denne skolelederen at resultatene bare forteller om et utsnitt av virkeligheten som gjelder skolen og kvaliteten i opplæringen, og viser til at «når det som er viktig ikke kan måles, blir det som måles, det viktigste.» Som utdyping stiller denne skolelederen spørsmålet om prøvene skal være et bilde av kvalitet i skolen, eller om det skal være et verktøy for at skolene kan gjøre en enda bedre jobb? Han svarer selv at media har gjort resultatene av nasjonale prøver til en fasit på skolens kvalitet, noe han mener er en feilaktig bruk av resultatene. Denne oppfatningen deles av alle skolelederne i det kvalitative materialet vårt, og i intervjuene uttrykkes det skuffelse, misnøye og tristhet over denne situasjonen: Når avisene begynner å lage sånne målinger, så er det helt ja. Det er sånt som jeg registrerer og tenker at javel, hvis de skriver like upresist om alt mulig annet, da er det ikke mye informasjon å hente i avisene. ( ) Jeg kan ikke bruke energi på det, journalistene må gjøre sin egen greie. Ut fra disse tallene er liksom den ene skolen bedre enn den andre. Jeg vet jo godt at virkeligheten ikke er sånn. Men det er jo synd at offentligheten, at publikum får slike ting presentert. Den samme skolelederen understreker at han er svært tilfreds med prøvene som redskap for å utvikle skolen, både lokalt og nasjonalt. Det er offentliggjøringen og medias omgang med tall han her kritiserer. Dette deles av hans kolleger på andre skoler. En av dem peker på elevene, og hvordan de må ha det når det står i avisen at skolen deres er dårlig. En annen skoleleder peker på de foresatte: Den veldige fokuseringen som pressen gjør, med å sette opp tabeller, det er jo ikke i seg selv så veldig positivt. Det oppleves i hvert fall ikke positivt av de foresatte på vår skole. De får dette her: nå kan dere se hvor dårlige dere er, liksom. Samtidig som man skal kunne stå for resultatene. ( ) Men det er jo ikke så veldig positivt å være foreldre på en skole som gjør det 96

99 så innmari dårlig. Så der bør pressen være forsiktige. De bør faktisk være forsiktige med hvordan de gjør det der. Så det var min appell til pressen, om å være seg sitt ansvar bevisst. Samtidig som dette handler om skolens omdømme og om læreres, elever og foresattes følelser, er skolelederne kritiske til offentliggjøring og rangering først og fremst fordi de kjenner de store begrensningene i resultatenes sammenlignbarhet. De vet at man ikke uten videre kan sammenligne prøveresultater fra år til år, heller ikke innenfor samme skole. De mener også at det å sammenligne et gitt resultat mellom to skoler, la si 1.7 og 2.1, ikke gir mening så lenge elevmassen alltid vil være forskjellig. «1.7 kan faktisk vise seg å være et godt resultat,» som en av skolelederne uttrykker det, «det må man vurdere i lys av bakgrunnsfaktorer ved elevmassen, så det kan være at lærerne på den skolen har gjort en kjempejobb.» «Men den nyansen har jo ikke avisene,» sier en annen skoleleder, som diskuterer det samme. «Slik sammenligning av skoler er et blindspor for nasjonale prøver,» sier en tredje skoleleder. Avslutningsvis mener alle skolelederne vi har snakket med at nasjonale prøver gir dem et godt redskap for å utvikle skolen og kartlegge elevene med tanke på tilpasset opplæring. Noen av skolelederne understreker imidlertid at dersom elevene skal ha nytte av prøvene, må mestringsnivåene foreligge raskt slik at elevene kan få kjennskap til egne resultater uten særlig opphold. Dette har blitt bedre i dag, sier en av skolelederne, men det ville vært bra hvis det var mulig å få til dette enda tidligere. 5.4 Oppsummering I dette kapittelet har vi gjennom spørreundersøkelse og intervjuer med skoleledere sett at det i hovedsak er skoleleder som sørger for påmelding av elever før nasjonale prøver. Når det gjelder det formaliserte etterarbeidet med prøvene har vi sett at halvparten av skolelederne står for registrering av elevstatus selv. I den grad det er avvik mellom skoler i å registrere elevstatus, kan det derfor se ut til at lærere kan få mer informasjon om hvordan de skal gjøre dette og hvorfor det er viktig at registering utføres i tråd med regelverket. Det vil likevel være skoleleder og skoleeier som har ansvar for å kontrollere at registrert elevstatus stemmer overens med antall påmeldte elever. Vi har også sett at skolene i noen grad forbereder elevene på nasjonale prøver, og at dette foregår i større omfang på barneskoler enn på ungdomsskoler. Øvingen har i hovedsak karakter av å gjøre elevene kjent med prøveform og oppgavetyper, men repetisjon av fagstoff forekommer også. De fleste skolene som øver til nasjonale prøver, bruker materialet som ligger tilgjengelig på Utdanningsdirektoratets nettsider. Så lenge det fra Utdanningsdirektoratets side er klart at øving til prøvene både er tilrådelig og ønskelig, er det vanskelig for oss, for skoleleder eller for den saks skyld for skoleeier å trekke en grense og si hva som er for mye øving. Noen skoleledere forteller imidlertid at annen undervisning settes til side for å øve til prøvene. Dette kan tyde på at enkelte skoler overdriver forberedelsene, mens det ser ut til at flertallet lar elevene bli trygge i prøveformen og ellers oppgir at forberedelse til nasjonale prøver er integrert i hele skoleåret, gjennom arbeidet for å nå kompetansemålene. Når det gjelder forberedelser, der Marsdal (2011) har hevdet at det foregår en vridning av praksis for å forbedre resultatene og dermed tilpasse seg systemet, har vi altså ikke funnet særlige holdepunkter for at slik vridning er tilfelle. Den øvingen som foregår, ser i all hovedsak ut til å være i tråd med Utdanningsdirektoratets vilje. Et mulig unntak kan finnes i forberedelsen av svake elever, som kanskje egentlig burde vært fritatt fra prøvene. Her viser nemlig analysen et interessant eksempel på vridning av praksis for å tilpasse seg systemet: reglene for fritak blir muligens praktisert for strengt på en del skoler. Dette har antagelig ikke vært Utdanningsdirektoratets intensjon med regelverket. Det er ikke sikkert at utformingen av regelverket for fritak som gir skoleleder frihet til vurdering innenfor gitte rammer har tatt hensyn til at mange skoler synes å intensivere innsatsen for å redusere antall enkeltvedtak om spesialundervisning og la disse elevene få tilpasset undervisning innenfor rammen av den vanlige klassen. Disse elevene kan i praksis heller ikke vurderes for fritak fra nasjonale prøver, og 97

100 man sitter følgelig med en gruppe elever som har lav måloppnåelse, lav grad av mestring og generelt dårlige forutsetninger for å gjennomføre prøvene uten særlig tilrettelegging. Det er interessant å se nærmere på årsaker til at regelverket praktiseres på denne måten. Innsats for å redusere antall elever med spesialundervisning kan være en systemforklaring. Andre forklaringer som viser til systemet for nasjonale prøver, er de skoleledere som sier at de opplever et press fra skoleeier om å ha lavt fritak fra prøvene. Likevel tror vi at det kan være bevissthet om hva prøvene kan vise og hva resultatene kan brukes til, som også har ført til en endring av praksis på den enkelte skole og hos den enkelte skoleleder. Flere av skolelederne vi intervjuet, understreket nemlig at prøvene skulle vise det de kalte «et reelt resultat», det vil si at prøvene skulle gi et så godt bilde av elevmassen som mulig. Skolelederne som vi har intervjuet, utdyper hvordan de arbeider med resultatet av prøvene i lærerkollegiet. Her fortelles det om behovet for å ta resultatene inn over seg, ikke bare for skoler som har dårlige resultater, men også for skoler som gjør det jevnt over godt. Det er dette bildet som i neste omgang skal sette skoleledelsen og lærerkollegiet i stand til å stikke ut målsettinger og velge tiltak for å forbedre elevenes grunnleggende ferdigheter. I utvalget vårt finnes det imidlertid skoler som over tid har hatt dårlige resultater, men hvor enkelte av skolelederne forteller at de ikke synes at de finner årsaken. Vi skal komme tilbake til dette i neste kapittel, der vi ser nærmere på hvordan lærerne forteller om hvordan de jobber sammen med resten av skolen med å analysere og bearbeide elevenes resultater. I dette er det interessant at skolelederne mener at nasjonale prøver er et verktøy for å kartlegge elevene. De ser altså i mindre grad på prøvene som et verktøy for vurdering av skolens arbeid, selv om dette aspektet muligens står sterkere på barneskolene enn på ungdomsskolene. Flere av skolelederne fortalte at det var vanskelig å finne «veien videre» på grunnlag av prøvene, og det er også her Retningslinjene foreskriver samarbeid mellom skoleeier og skoleleder. Analysen i kapittel 4 viste imidlertid at et flertall av skoleeierne gjør liten inngripen i skolenes arbeid med nasjonale prøver. Vi synes at det mangler informasjon i Retningslinjene om hvordan skolene kan bruke prøvene til å utvikle skolen, hvis vi ser bort fra ren kartlegging av elever med tanke på tilpasset opplæring. Likevel ser vi at enkelte skoler i utvalget vårt har klart å tenke stort på dette området, og gått dypere i spørsmålene om hva prøven forteller om den enkelte skole, mer enn bare hva den forteller om elevgrunnlaget. I dette tilfellet ser vi at endringsarbeidet på skolen også skyldes en aktiv skoleeier. På ungdomsskolene omtalte alle skolelederne prøvene som «kartleggingsverktøy». Sett på denne måten forsterkes det rent pedagogiske aspektet ved prøvene, på den måten at resultatene brukes til å hjelpe klassen, gruppa eller den enkelte elev videre ved hjelp av tilpasset opplæring. Skolelederne understreker at det er på denne måten de kan bruke resultatene, fordi de kjenner godt til at det først og fremst er forskjeller mellom elevkull og egenskaper ved elevenes bakgrunn som skaper forskjellene fra år til år. For skolelederne blir prøvene derfor i mindre grad et styringsverktøy, selv om det handler om å utvikle skolen i pedagogisk øyemed for å forbedre elevers læringsutbytte. I den grad prøvene har preg av å være en ansvarliggjøring av skoleledernivået, mener vi dette kommer til syne i streng praktisering av regelverket lokalt og i mindre grad i hvordan prøvene brukes for å utvikle skolen. Vårt inntrykk er derfor at skoleledernivået har fått (eller tatt?) et eierskap til nasjonale prøver, og også at skolene i større utstrekning og med større effekt gjør bruk av resultatene enn hva som er tilfelle for skoleeiernivået. Dette inntrykket forsterkes av at skolene i høy grad bestemmer selv hvordan de skal forberede elevene og bruke resultatene. Flere av skolelederne understreker også at de synes at prøvene er gode, og at de gjerne vil bruke dem til å utvikle elevenes læringsarbeid. Det kvalitative materialet kan tyde på at det har vært en utvikling med hensyn til bearbeiding av resultater på skolene, noe som i særlig grad har ført til en gjennomgående satsning på leseopplæring. Dette pedagogiske aspektet understrekes av at de samme skolelederne kritiserer bruken av skolens resultater for å rangere skolene i media eller vurdere skolenes kvalitet. De stoler ikke på at tallene blir forstått eller brukt korrekt når de når offentligheten. 98

101 Hvis vi forutsetter, med grunnlag i kapittel 4, at det mange steder i landet er et svakt skoleeiernivå som ikke aktivt går inn og styrer, kontrollerer og utvikler skolene på grunnlag av nasjonale prøver, har vi her konturene av et sterkt skolenivå som på egen hånd har tatt tak i og implementert nasjonale prøver i sin arbeidshverdag. Dette har skapt en tilsynelatende streng praksis i håndhevelsen av regelverket, med bevissthet om at drilling ikke skal forekomme og restriktiv håndtering av fritak. Slik kan skolelederne få et mest mulig riktig inntrykk av elevmassen. Denne ansvarliggjøringen og bevisstgjøringen rundt prøvene ser ut til å minske vridninger som kan skape ulik praksis mellom skoler. Likevel er det mangler i styringssystemet når vi kommer til skolenivået, fordi skolene foretrekker å se på prøvene som et kartleggingsverktøy. Skolelederne mener at de trenger prøvene til internt bruk, men er frustrerte over at resultatene blir offentliggjort i media (dette gjelder ikke informasjon om resultater som blir gitt videre til kommunalsjef og politisk nivå i kommunen). Et flertall av skolelederne i spørreundersøkelsen er nokså enige eller helt enige i at nasjonale prøver har gitt dem et godt redskap til å utvikle skolen. Av dette kan det se ut som om skolene mener at de får tilstrekkelig informasjon, men at kompetansen til å fortolke og bruke resultatene i tråd med intensjonene er varierende. Dette kan forklares med at også støtten som skolene kan få fra skoleeiernivået varierer (se kapittel 4). Slik støtter våre data konklusjonene til Skedsmo (2011). Informasjon, bevisstgjøring og ansvarliggjøring av skoleeiernivået ser også ut til å ha ført til lavt omfang av vridning lokalt, slik at det i regelen ikke drilles til prøvene, og elever ikke fritas uten at de nødvendige, forutgående enkeltvedtak foreligger. Kapittel 4 viste imidlertid at det er liten grad av kontroll med at det faktisk er slik. 99

102

103 6 Fra lærernes ståsted Det empiriske utgangspunktet for dette kapitlet er den elektroniske spørreundersøkelsen som ble gjennomført høsten 2012 blant 469 lærere på mellom- og ungdomstrinnet ved i alt 97 skoler. Dette materialet er sammenholdt med kvalitative data fra intervjuer med lærere på tre barneskoler og tre ungdomsskoler. De tekniske aspektene ved disse undersøkelsene er nærmere beskrevet i kapittel 2 i denne rapporten. Hovedpunkter i kapittel 6 Kvantitative delfunn Det er vanlig å øve til nasjonale prøver, de fleste skoler gjør det og det er vanligere på mellomtrinnet enn på ungdomstrinnet. I øvingen brukes primært Utdanningsdirektoratets øvingsmateriale. En av fire lærere rapporterer at annen undervisning settes til side til fordel for forberedelser til prøvene, samtidig som lærerne gir uttrykk for at de selv bestemmer over tidsbruken til forberedelser. En av fire lærere sier at skolen ikke har godt nok utstyr til å gjennomføre de digitale prøvene, og halvparten rapporterer om at det er tekniske problemer under prøvene. Lærerne på mellomtrinnet ser nasjonale prøver som et godt redskap i større grad enn lærerne på ungdomstrinnet. Kvalitative delfunn Lærerne på mellomtrinnet gir uttrykk for at det er viktig å gjøre elevene trygge i prøvesituasjonen, og at dette særlig gjelder elever som strever med skolen. Lærerne uttrykker frustrasjon over at de får ut lite informasjon fra prøvene i oppfølgingen av elevene i etterkant av prøvene. Metodekombinasjon: hovedfunn Selv om de fleste skoler øver til nasjonale prøver, er det ikke snakk om drilling, men snarere å gjøre elevene kjent med prøven. Øving er vanligere på mellomtrinnet enn på ungdomstrinnet, der elevene også er mer vant til ulike former for prøver. Lærerne er frustrert over at det er lite informasjon som kommer ut av prøvene, at de i liten grad kan bruke prøvene for å gi tilbakemeldinger til elevene. Denne frustrasjonen er større blant lærere på mellomtrinnet enn på ungdomstrinnet. 101

104 Vår gjennomgang av skolens oppgaver er, som i kapitlet foran, delt inn i oppgaver før gjennomføring, under gjennomføring og etter gjennomføring av de nasjonale prøvene. Data fra de kvalitative intervjuene illustrerer og utdyper funnene fra spørreundersøkelsen. Også her er det interessant å undersøke hvorvidt lærerne mener de har tilstrekkelig informasjon ikke bare til å gjennomføre prøvene, men også til å bruke resultatene. Videre vil vi på lærernivået få større innsikt i praksis rundt forberedelse, gjennomføring og bruk av resultatene fra prøvene. 6.1 Før gjennomføring av prøvene I kapittel 5 tok vi for oss skoleeiernes ansvar slik dette er fremstilt i Retningslinjene. Lærernes arbeidsoppgaver i forbindelse med forberedelse, gjennomføring og etterarbeid ved prøvene vil i stor grad være en operasjonalisering og videreføring av skoleeiers ansvar ned i selve skoleorganisasjonen. I tabell 6.1 nedenfor har vi skravert de delene av skoleleders ansvar før prøvene som vil være aktuelle å drøfte når vi analyserer svarene fra lærersurveyen. Tabell 6.1 Oversikt over skoleleders ansvar før gjennomføringen av nasjonale prøver. Skoleleder skal Sørge for at alle aktuelle elever er påmeldt i PAS Ha lest denne veiledningen og kjenne til veiledningen til lærerne og eksempeloppgavene til nasjonale prøver Sørge for at lærerne på skolen kjenner til innholdet i lærerveiledningene og eksempeloppgavene på Utdanningsdirektoratets nettsider Sørge for at gjennomføringen av nasjonale prøver på skolen er i tråd med de retningslinjene som er gitt i denne veiledningen Holde seg oppdatert på viktige meldinger på Utdanningsdirektoratets nettside Sørge for at foresatte er informert om gjennomføringen, og at foreldrebrosjyren blir delt ut i god tid før gjennomføringen Være tilgjengelig for lærerne når de trenger hjelp og støtte til å forberede gjennomføringen Ha lest brukerveiledningen til PAS/PGS *) Ha god kjennskap til PAS/PGS og yte brukerstøtte til sine lærere *) (Kilde: Retningslinjene s. 7) Informasjon om nasjonale prøver Tabell 6.2 viser at nesten alle lærere, 91 prosent, får informasjon om nasjonale prøver gjennom nettbasert materiale som Utdanningsdirektoratet har utarbeidet, og det er også en stor andel, 77 prosent, som selv har søkt informasjon på nettet. Dette kan tolkes som at lærerne er opptatt av å sette seg inn i nasjonale prøver og være godt forberedt. Muntlig informasjon, både fra skoleledelse eller kommune og fra kollegaer er også viktig, og mange snakker også med kollegaer for å få informasjon om prøvene. Andelen som svarer «ja» er signifikant høyere på mellomtrinnet enn på ungdomstrinnet for det første og de to siste alternativene, med andre ord er det klart flere av lærerne på mellomtrinnet enn på ungdomstrinnet som bruker disse informasjonskanalene. 102

105 Tabell 6.2 Informasjon om nasjonale prøver til lærerne Prosent Antall Hvordan får du informasjon om nasjonale prøver? "ja" (N=) Nettbasert materiale om nasjonale prøver utarbeidet av Utdanningsdirektoratet 91 % 463 * Nettbasert eller skriftlig materiale om nasjonale prøver utarbeidet av skoleledelse eller kommunen 37 % 463 Muntlig informasjon om nasjonale prøver fra skoleledelse eller kommunen 75 % 463 Nettbasert eller skriftlig materiale om nasjonale prøver utarbeidet av fagforening eller faglærerorganisasjon 4 % 463 Muntlig informasjon fra lærerkolleger 73 % 463 Jeg har selv tatt initiativ til å søke på nettet etter informasjon om nasjonale prøver 77 % 463 * Jeg har selv tatt initiativ til å oppsøke kolleger for å få informasjon om nasjonale prøver 62 % 463 * * Signifikant høyere andel på mellomtrinnet enn på ungdomstrinnet Derimot er det svært få, kun åtte prosent, som har fått tilbud om kurs eller seminar med opplæring i nasjonale prøver, mens seks prosent har deltatt på kurs. Det er ingen forskjell mellom lærere på de to trinnene. Blant lærerne som har vært på kurs, er over halvparten fra Oslo og Akershus. Tabell 6.3 Kurstilbud om nasjonale prøver Alle Har du fått tilbud om kurs/seminar med opplæring i nasjonale prøver de siste fire skoleår? 8 % Har du deltatt på kurs/seminar med opplæring i nasjonale prøver de siste fire skoleår? 6 % Antall (N=) 469 Av lærernes kommentarer til spørreskjemaet går det frem at enkelte lærere har blitt tilbudt fagspesifikke kurs (matematikklærere) eller kurs i registrering og bruk av resultatene. Generelt ser det ut til at lærere oppfatter all type informasjon om nasjonale prøver som forholdsvis viktig, ved at flertallet svarer «nokså viktig» eller «veldig viktig» på så å si alle alternativene. Imidlertid er det hele 59 prosent som sier at det er veldig viktig med informasjon om hvordan de kan bruke elevenes resultater fra nasjonale prøver, og dette utmerker seg dermed som det lærerne er mest opptatt av. Samtidig er det også mange som synes at rutiner ved gjennomføring av og etter de nasjonale prøvene, hvordan de selv kan bruke elevenes resultater fra nasjonale prøver, hvordan skolen kan bruke resultatene samt lærerveiledninger til enkeltprøver, er informasjon som er viktig i deres arbeid som lærer (tabell 6.4). 103

106 Tabell 6.4 Viktigheten av ulike typer av informasjon om nasjonale prøver Hvor viktig er følgende informasjon om nasjonale prøver for deg i arbeidet som lærer? Ikke viktig Mindre viktig Både/og Nokså viktig Veldig viktig Sum Antall (N=) Hensikten med nasjonale prøver 5 % 10 % 26 % 31 % 29 % 100 % 457 Det faglige innholdet av de nasjonale prøvene 2 % 6 % 20 % 35 % 36 % 100 % 458 * Regelverket for de nasjonale prøvene 4 % 12 % 26 % 34 % 25 % 100 % 453 * Lærerveiledninger til enkeltprøver 2 % 4 % 14 % 34 % 46 % 100 % 453 * Rutiner ved forberedelse av de nasjonale prøvene 2 % 6 % 17 % 36 % 39 % 100 % 456 * Rutiner ved gjennomføring av de nasjonale prøvene 1 % 2 % 11 % 38 % 49 % 100 % 455 * Rutiner ved etterarbeid ved de nasjonale prøvene 2 % 4 % 15 % 32 % 47 % 100 % 455 * Hvordan skolen kan bruke resultatene fra de nasjonale prøvene 3 % 5 % 17 % 26 % 49 % 100 % 459 Hvordan jeg kan bruke elevenes resultater fra de nasjonale prøvene 2 % 3 % 13 % 24 % 59 % 100 % 457 * Signifikant høyere viktighet for lærere på mellomtrinnet enn på ungdomstrinnet Vi finner også forskjeller mellom hvilke årstrinn lærerne har erfaring med når vi undersøker betydningen av ulike typer informasjon. Det er signifikante forskjeller mellom lærere på mellomtrinnet og ungdomstrinnet når det gjelder viktigheten av informasjon om det faglige innholdet i nasjonale prøver, regelverket for nasjonale prøver, lærerveiledninger for enkeltprøver samt rutiner for forberedelse av de nasjonale prøvene (se tabell 6.4). Felles for alle disse spørsmålene er at det er en signifikant større andel av lærerne på mellomtrinnet som mener at det er nokså viktig eller veldig viktig for deres arbeid. Forskjellene varierer mellom sju og 16 prosentpoeng. Figur 6.1 viser at hoveddelen av lærerne mener at de får tilstrekkelig informasjon og veiledning til å kunne administrere de nasjonale prøvene. Det er over 55 prosent som mener at informasjonen i stor grad dekker deres behov, mens det kun er i overkant av 7 prosent som mener at de ikke eller kun i liten grad har fått oppfylt sitt informasjonsbehov. 104

107 Figur 6.1 I hvilken grad har materiellet og veiledningen om nasjonale prøver som du har mottatt vært tilstrekkelig for at du kunne administrere prøvene? Flesteparten av lærerne mener derfor at de i stor eller i noen grad har god nok informasjon til å kunne administrere de nasjonale prøvene. At mellom 30 og 40 prosent av disse mener at informasjonen «i noen grad» er god nok, tyder samtidig på at en del skoleledere kan ha noe vei å gå for å oppfylle sitt ansvar i å sørge for at lærerne har tilstrekkelig informasjon om nasjonale prøver, eller det kan tyde på at lærerne mener at informasjonsmateriellet fra Utdanningsdirektoratet er mangelfullt. Vi ser av spørreundersøkelsen at lærerne i stor utstrekning skaffer seg informasjon selv ved å lese på Utdanningsdirektoratets nettsider, og spør derfor om denne informasjonen i større grad bør suppleres på skolenivå. Våre data tyder på at tilnærmet alle foreslåtte tema knyttet til nasjonale prøver (se tabell 6.4) har betydning for lærerne i forberedelse og etterarbeid ved prøvene. I spørreskjemaet har lærere brukt kommentarfelt for å utdype hva de mener om informasjonen de får om nasjonale prøver. Her går det blant annet frem at enkelte lærere mener at det å skaffe seg informasjon blir for mye opp til den enkelte lærer, og at informasjonen oppleves som nesten overveldende og vanskelig å finne frem i. En av dem skriver: Min kunnskap om bruken av nasjonale prøver er alt for liten i forhold til hvordan jeg kan bruke dette i undervisningen. Å få tilsendt et hefte og et krav om gjennomføring er svært lite inspirerende. Det burde ha vært obligatorisk med kursing i hvordan og hvorfor vi skal gjennomføre prøvene. Inspirér lærerne! Flere kommentarer til spørsmålene om informasjon i spørreundersøkelsen berømmer de nye lærerveiledningene. Vi skal siden komme tilbake til hvordan veiledningene brukes. Andre lærere skriver i kommentarfeltet at de er bekymret for hvordan regelverk tolkes og praktiseres ulikt på skolene, og at dette kan gi urettmessige skjevheter når resultater siden sammenlignes. Av de kvalitative dataene går det frem at skoleleder viser til informasjon som finnes på Utdanningsdirektoratets nettsider, slik at lærerne selv bestemmer hvor mye tid de må ha for å sette seg inn i hva prøvene er og hvordan de skal gjennomføres. På to av skolene vi besøkte, hadde lærerne selv fått ta en gammel nasjonal prøve på internett som en del av skolens plandag på høsten. Dette for at lærerne selv skulle få et inntrykk av hvordan det var for elevene å arbeide med prøven. Lærere som vi fikk intervjue, er tilfredse med å finne informasjonen på nettet selv på denne måten. «Den informasjonen vi har fått har vært helt grei,» sier en av dem. «Det er jo bare å plukke det man trenger,» sier en annen. En av lærerne vi intervjuet, påpekte at regelverket var uklart med hensyn til fritak og tilrettelegging: Det må jo være et enkeltvedtak for å få fritak, det er jo greit nok, men det kunne kanskje vært litt mer klart hvem kan du for eksempel lese opp for i regning? Nå gikk jeg ut fra at det var greit at jeg leste opp for min dyslektiker, men hva er kriteriene der? Det synes jeg ikke jeg fant noe om. Det står bare at du ikke kan lese opp i engelsk og norsk. Og det sier seg jo sjøl, for det 105

108 skal jo måle lesing. Men jeg synes der synes jeg det var lite informasjon å finne. Men ellers er jeg egentlig fornøyd med informasjonen. Jeg har fått det jeg trenger, jeg. Vi har ikke brukt spørreundersøkelsen til å spørre lærerne om hvordan de eventuelt arbeider for å informere elevenes foreldre og foresatte før prøven. Gjennom de kvalitative intervjuene har vi derimot fått vite at det er vanlig å informere de foresatte på foreldremøte, samt at lærere distribuerer brosjyren som gir informasjon om prøvene til foreldre/foresatte. Det vanligste spørsmålet foreldrene stiller lærerne, er hvilke dager prøvene skal gjennomføres. Mange skoler oppmuntrer også foreldre til å la barna øve på gamle prøver eller eksempeloppgaver som er tilgjengelige via Utdanningsdirektoratets nettsider. To av skolene vi besøkte, hadde latt foreldrene få prøve seg på gamle nasjonale prøver på nettet, som del av et informasjonsmøte om prøvene. Da vi snakket med FAU-representanter på de samme skolene, mente de at denne «testkjøringen» hadde vært et nyttig og interessant supplement til informasjonen som de fikk fra skolene. Dette gjaldt ikke minst foreldre med innvandrerbakgrunn. Lærere vi har snakket med, mener jevnt over at foreldrene ikke synes å være veldig opptatt av nasjonale prøver før prøvene gjennomføres. Interessen fra foreldrene handler i større grad om hvordan deres sønn eller datter har gjort det på prøven, noe vi skal komme tilbake til senere i dette kapittelet Påmelding til nasjonale prøver I kapittel 5 så vi nærmere på hvordan skoleleder arbeider med påmelding til prøvene, der det gikk frem at skoleleder ofte delegerer oppgaven med påmelding av elever. I lærersurveyen har vi undersøkt hvorvidt lærerne er involvert i påmelding av elevene. Det viser seg at en mindre andel (i alt 18 prosent) av lærerne deltar i arbeidet med å melde elever på nasjonale prøver. Med andre ord kan vi tolke dette som at skoleleder sannsynligvis delegerer påmeldingen, som er en administrativ oppgave, til andre enn lærere, siden det bare er en av fem lærere som sier at de er involvert i påmelding av elever. Vi har grunn til å tro at vår egen formulering av spørsmålet om påmelding til prøvene og en uklarhet i veiledningen kan ha ført til at noen lærere har misforstått vårt spørsmål. I prinsippet skal nemlig alle skolens elever meldes på, slik at dette strengt tatt ikke er en oppgave som det er nødvendig å inkludere lærerne i. I veiledningen brukes imidlertid begrepet «alle aktuelle elever» i forbindelse med påmeldingen i PAS (Retningslinjene s. 7) og dette kan ha ført til en sammenblanding av to arbeidsoppgaver der den ene gjelder påmeldingen av skolens elever og den andre gjelder fritak av enkeltelever. Vi har ikke brukt de kvalitative intervjuene for å undersøke læreres arbeid med påmelding til prøvene, siden det gjennom intervjuene med skoleleder var klart at dette var et ansvar som lå til skoleleder Lærernes forberedelser av elevene til nasjonale prøver I kapittel 5 så vi hvordan skoleledere legger til rette for forberedelser av nasjonale prøver, og at dette i hovedsak dreier seg om å la lærerne bruke eksempeloppgaver og eldre prøver som er tilgjengelige på Utdanningsdirektoratets nettsider. Vi så også at noen skoler bruker materiell som de lager spesielt til prøvene. Analysen i kapittel 5 tydet videre på at barneskoler bruker mer tid på forberedelser enn ungdomsskoler, men at skolelederne uavhengig av skoleslag i hovedsak mener at forberedelsene skal trygge elevene i prøvesituasjonen. I kapittel 3 så vi at det statlige nivået anbefaler at elevene får øve seg på prøvesituasjonen, slik at de vet hva de går til. Vi spurte først lærerne hvordan forberedelsene til prøvene er fordelt utover året (tabell 6.5). Hoveddelen av lærerne svarer at forberedelsene til nasjonale prøver er konsentrert om tiden før prøvene snarere enn at forberedelsene foregår gjennom hele skoleåret, selv om det også er omtrent en tredel av lærerne som jobber med forberedelser til nasjonale prøver gjennom hele året. I spørreundersøkelsen har vi likevel ikke spurt lærerne hva forberedelsene består av, slik at hva de faktisk gjør når de svarer at de forbereder prøvene gjennom hele skoleåret, må belyses gjennom de kvalitative dataene (se nedenfor). Det er en signifikant forskjell mellom lærere på mellomtrinnet og ungdomstrinnet, ved at lærere på mellomtrinnet jobber noe mer med forberedelse til nasjonale prøver gjennom hele skoleåret, mens lærerne på ungdomstrinnet i større grad konsentrerer forberedelsene til 106

109 tiden før prøvene. Det siste synes naturlig ettersom lærerne på ungdomsskoler vil ha arbeidet med elevene bare i kort tid før prøvene gjennomføres på åttende trinn. Tabell 6.5 Hvordan forberedelsene til prøvene er fordelt over skoleåret Forberedelsene til nasjonale prøver er jevnt fordelt gjennom hele skoleåret Helt uenig Litt uenig Både/og Litt enig Helt enig Sum Antall (N=) Mellom 14 % 24 % 26 % 23 % 12 % 100 % 201 Ungdom 37 % 19 % 17 % 11 % 15 % 100 % 223 Alle 27 % 21 % 22 % 17 % 13 % 100 % 441 Forberedelsene til nasjonale prøver er konsentrert om tiden før prøvene Mellom 17 % 6 % 15 % 26 % 35 % 100 % 226 Ungdom 5 % 6 % 14 % 44 % 31 % 100 % 202 Alle 11 % 7 % 14 % 35 % 33 % 100 % 446 Det er også forskjeller mellom ulike landsdeler med hensyn til hvordan forberedelsene til prøvene er fordelt utover året, hvor Oslo og Akershus skiller seg fra de øvrige landsdelene. I Oslo og Akershus er det en signifikant høyere andel som sier at forberedelsene til prøvene er jevnt fordelt gjennom året, og en signifikant lavere andel som sier at forberedelsene er konsentrert om tiden før prøvene. Tabell 6.6 viser at de to vanligste formene for øvingsmateriell er fjorårets oppgaver (brukes av 68 prosent) og øvingsmateriell utgitt av Utdanningsdirektoratet (brukes av 76 prosent). Relativt få lager eget øvingsmateriell. Imidlertid viser tabellen også at det er signifikante forskjeller mellom lærere på mellomtrinnet og lærere på ungdomstrinnet i svar på alle de fire spørsmålene. Ni av ti lærere på mellomtrinnet gir elevene fjorårets nasjonale prøver for å øve på, mens dette bare er tilfelle for halvparten av lærerne på ungdomstrinnet. Tilsvarende bruker tre av fire mellomtrinnslærere eldre prøver i forberedelsene, mens dette kun gjelder for en av fire lærere på ungdomstrinnet. Dette kan vi tolke som at lærerne på mellomtrinnet generelt er mer opptatt av å bruke tidligere prøver eller annet øvingsmateriell for å forberede elevene sine til nasjonale prøver, og dette kan i sin tur henge sammen med at elever på mellomtrinnet generelt er mindre vant til prøver, og særlig prøver som tar så lang tid å gjennomføre som de nasjonale prøvene gjør. Tabell 6.6 Ulike typer øvingsmateriell som lærerne gir elevene Gir du elevene øvingsmateriell før nasjonale prøver? Mellomtrinn Ungdomstrinn Alle Jeg gir elevene fjorårets nasjonale prøver som øvingsoppgaver 90 % 48 % 68 % Jeg gir elevene nasjonale prøver som er eldre enn ett år som øvingsoppgaver 74 % 23 % 47 % Jeg gir elevene øvingsmateriell for nasjonale prøver utgitt av Utdanningsdirektoratet 88 % 66 % 76 % Jeg gir elevene et eget øvingsmateriell som jeg eller skolen min har laget spesielt til nasjonale prøver 20 % 7 % 12 % Antall (N=) Kommentarfeltet i spørreskjemaet gir mulighet til å få vite litt mer om hva slags materiell som brukes når lærere oppgir at de bruker «eget øvingsmateriell». Flere lærere oppgir at de lager egne oppgaver inspirert av tidligere nasjonale prøver, mens andre forteller at de klipper stoff fra tilgjengelige publikasjoner, som blader og aviser, for å finne eksempler på fagtekster. En lærer skriver at skolen lager egne mattehefter med oppgaver som krever flere regneprosesser i en og samme oppgave. Oppgavene blir deretter brukt som drøftinger i mindre grupper. Arbeid med lesestrategier går igjen blant lærerkommentarene i spørreundersøkelsen. 107

110 En mulig måte å forberede elevene på nasjonale prøver på er å la dem gjennomføre en gammel prøve i sin helhet, i vår spørreundersøkelse formulert som at de lar elevene gjennomføre en prøve «på liksom». Figur 6.2 viser at 45 prosent av lærerne på mellomtrinnet sier at de gjennomfører en eller flere prøver «på liksom», og dersom vi også regner inn dem som gjør dette flere ganger i løpet av skoleåret, er det 65 prosent av mellomtrinnslærerne som gjør dette. Til sammenligning er det nesten 50 prosent av lærerne på ungdomstrinnet som sier at de ikke gjennomfører prøve «på liksom». Dermed indikerer også dette spørsmålet at det er lærerne på mellomtrinnet som legger størst innsats i forberedelsene til nasjonale prøver. Figur 6.2 Lar du elevene øve seg til prøvesituasjonen ved å gjennomføre en eller flere prøver «på liksom»? I tillegg viser kommentarer til spørsmålet at mange lærere bruker deler av eldre prøver til øvingsformål, men at de ikke konkret øver på å gjennomføre prøvesituasjonen. Basert på disse utsagnene, sammen med at et klart flertall bruker øvingsmateriell som Utdanningsdirektoratet har laget og fjorårets prøver, kan vi konstatere at det nok er vanlig å øve til nasjonale prøver, særlig på mellomtrinnet. Kommentarene fra spørreskjemaene bekrefter dette. Her skriver en lærer «Det er viktig å gjøre elevene kjent med oppgavetypene, og jeg har inntrykk av at dette påvirker resultatet.» En annen skriver: Jeg lar dem gjennomføre en eksempeloppgave eller en tidligere gitt oppgave for at de skal kjenne prøveformen. Vil ikke bruke tid på å 'drille' til nasjonale prøver, men kan forsvare å bruke noe tid på at de arbeider gjennom et prøvesett fordi dette også gir dem god lesetrening/faglig utbytte. Et annet aspekt ved forberedelser til nasjonale prøver er om læreren fordeler tiden likt på å forberede hele klassen eller prioriterer å arbeide med grupper av elever eller enkeltelever. I kapittel 5 diskuterte vi data fra skolelederne som tyder på at streng tolkning av fritaksregler og det som blir oppfattet som manglende mulighet for tilrettelegging i prøvesituasjonen for svake elever uten enkeltvedtak, kan føre til at svake elever får ekstra forberedelse. Tabell 6.7 viser at lærere i stor grad bruker tid på hele klassen ved forberedelser til nasjonale prøver, og det er et mindretall blant lærere på begge trinn som svarer at de «i noen grad» bruker tid på grupper av elever eller enkeltelever. Med andre ord finner vi noe støtte for at lærerne fokuserer ekstra på enkeltelever eller grupper, men hovedinntrykket er likevel at de bruker tiden på å forberede alle elevene i klassen sin. Funnet stemmer godt overens med de kvalitative utsagnene fra skoleledere i kapittel 5 om ekstra forberedelse av særlig svake elever, som skolen ikke finner grunnlag for å kunne frita fra prøvene. 108

111 Tabell 6.7 Hvem bruker du tid på når du forbereder elever til nasjonale prøver. Andel som svarer «i noen grad» og «i stor grad». Mellomtrinn Ungdomstrinn Hvem bruker du tid på når du forbereder elevene til nasjonale prøver? I noen grad I stor grad I noen grad I stor grad Jeg bruker tid på hele klassen i forberedelsene til nasjonale prøver 19 % 80 % 33 % 58 % Jeg bruker tid på grupper av elever i forberedelsene til nasjonale prøver 43 % 6 % 27 % 4 % Jeg bruker tid på enkeltelever i forberedelsene til nasjonale prøver 38 % 7 % 33 % 7 % Antall (N=) Vi kan se nyanser i dette når lærerne også ble bedt om å ta stilling til en rekke påstander om hvem de bruker mye tid på i forberedelsene til nasjonale prøver, selv om det her fremkommer samme typer mønster som i det direkte spørsmål om hvordan de prioriterer tidsbruken sin (tabell 6.7). Svært få svarer at de bruker tid på elever som ligger an til å gjøre det best. På mellomtrinnet sier 23 prosent at de bruker mye tid på elever som kan prestere middel godt, mens dette kun gjelder for 6 prosent av lærerne på ungdomstrinnet. Imidlertid svarer 33 prosent på mellomtrinnet og 17 prosent på ungdomstrinnet at de bruker mye tid på elever som kan komme til å gjøre det dårlig, mens majoriteten, til sammen 82 prosent på mellomtrinnet og 72 prosent på ungdomstrinnet sier at de bruker omtrent like mye tid på alle elever. Tabell 6.8 Holdning til å bruke tid på ulike grupper av elever. Andeler som er litt eller helt enig. Mellomtrinn Ungdomstrinn I forberedelse til nasjonale prøver Litt enig Helt enig Litt enig Helt enig...bruker jeg mye tid på elever som ligger an til å gjøre det aller best 4 % 6 % 2 % 1 %...bruker jeg mye tid på elever som kan prestere middels godt hvis de får ekstra oppfølging 16 % 7 % 5 % 1 %...bruker jeg mye tid på elever som jeg vet kan komme til å gjøre det svært dårlig 27 % 6 % 13 % 4 %... forsøker jeg å bruke omtrent like mye tid på alle elever 17 % 65 % 16 % 56 % Antall (N=) Et annet spørsmål som gjelder forberedelse til prøvene, er om det er lærerne selv velger å bruke tid på forberedelser eller om det er lærerkollegiet, skoleleder eller kommunen som tar denne beslutningen. I kapittel 5 stilte vi dette spørsmålet til skolelederne, som mente at det var skolen som bestemte over tidsbruken, og da vanligvis skoleleder og lærere i fellesskap. Når spørsmålet også er stilt til lærerne, kan vi få ytterligere innsikt i hvordan skoleorganisasjonen arbeider med forberedelsene. Lærersurveyen viser, slik også data fra skoleledernivå gjorde, at kommunene har veldig lite påvirkning på hvor mye tid lærerne bruker på forberedelser. Lærersurveyen viser imidlertid at også skoleleder har liten innflytelse her. Det store flertallet (89 prosent) av lærerne mener at denne avgjørelsen tas av den enkelte lærer, mens nesten en av fire lærere sier at det er lærerkollegiet som sammen avgjør hvor mye tid som skal brukes på forberedelser til nasjonale prøver. 109

112 Tabell 6.9 Hvem avgjør hvor mye tid du skal bruke på forberedelsene til nasjonale prøver? Andel som svarer «ja». Hvem avgjør hvor mye tid du skal bruke på forberedelsene til nasjonale prøver? Mellomtrinn Ungdomstrinn Alle Jeg avgjør selv hvor mye tid som skal brukes på forberedelser til nasjonale prøver 93 % 85 % 89 % Rektor avgjør hvor mye tid som skal brukes på forberedelser til nasjonale prøver 12 % 10 % 11 % Lærerkollegiet avgjør hvor mye tid som skal brukes på forberedelser til nasjonale prøver 20 % 28 % 24 % Kommunen avgjør hvor mye tid som skal brukes på forberedelser til nasjonale prøver 1 % 3 % 2 % Antall (N=) Når vi stilte slike spørsmål til lærerne, var vi også interessert i å få vite om det kunne være faktorer utenfor skolen som avgjorde hvor mye tid som ble brukt på forberedelser av nasjonale prøver. I tråd med påstanden om at skoler som får negativ omtale i media etter at de har gjort det dårlig på prøvene, kan komme til å øke forberedelsene til nasjonale prøver (Elstad 2009), valgte vi å spørre om lærerne ble påvirket av medieoppslag om prøvene. Det viser seg at ca. en tredjedel av lærerne mener at medieoppslag har påvirkning. I gjennomsnitt er det 29 prosent sier at medieoppslag har innvirkning på hvor mye tid skolen bruker på forberedelser og 20 prosent sier at de lar dette påvirke hvor mye tid de selv som lærer bruker på forberedelser. Lærerne på mellomtrinnet lar seg imidlertid påvirke i betydelig større grad enn lærerne på ungdomstrinnet. Tabell 6.10 Medieoppslag som påvirker tidsbruk til nasjonale prøver. Andel som svarer «ja». Mellomtrinn Ungdomstrinn Alle Har du opplevd at oppslag i media påvirker hvor mye tid SKOLEN DIN bruker til å forberede elevene til nasjonale prøver? 40 % 18 % 29 % Har du opplevd at oppslag i media påvirker hvor mye tid DU bruker til å forberede elevene dine til nasjonale prøver? 30 % 11 % 20 % Antall (N=) Tallene fra lærersurveyen, og særlig fra lærere på mellomtrinnet, kan derfor tyde på at medieoppslag har en viss betydning for hvordan skolen eller den enkelte lærer (her har vi mindre mulighet til å skille mellom disse) legger opp forberedelsene til nasjonale prøver. Hovedinntrykket er likevel at lærerne er uenige i at skolen eller de selv bruker for mye tid på nasjonale prøver. Her er det imidlertid også en liten forskjell etter trinn, ved at prosent av lærerne på mellomtrinnet er enige i at både de og skolen deres bruker for mye tid på nasjonale prøver, mens tilsvarende tall for ungdomsskolelærerne er bare 6 prosent. I gjennomsnitt er det 14 prosent som mener at de og skolen deres bruker for mye tid på nasjonale prøver. Tabell 6.11 Brukes det for mye tid på forberedelsene? Andeler som er litt eller helt enig. Mellomtrinn Ungdomstrinn Litt enig Helt enig Litt enig Helt enig Jeg synes at skolen bruker for mye tid på forberedelsene 12 % 9 % 3 % 3 % Jeg synes at jeg bruker for mye tid på forberedelsene 14 % 9 % 3 % 3 % Antall (N=)

113 I forlengelse av dette spørsmålet har vi også stilt lærerne detaljerte spørsmål om hvordan skolen arbeider med å forberede elevene til prøvene. Her var vi ikke opptatt av å få kjennskap til bruk av øvingsmateriell, men hvordan forberedelsene balanseres mot den øvrige undervisningen. I dette har vi også ønsket å kartlegge hvorvidt forberedelsene til nasjonale prøver skyver på eller fortrenger andre typer undervisning, slik vi også var inne på i kapittel 5. Resultatet av dette spørsmålet er at det ikke er vanlig å redusere undervisningen i andre fag for å trene ekstra til nasjonale prøver, spesielt ikke på ungdomstrinnet. Likevel forekommer dette i noen grad, og da omtrent utelukkende på mellomtrinnet. Vi legger også merke til at forberedelsene til nasjonale prøver er gjort til en del av lærersamarbeidet på omtrent halvparten av barneskolene og en litt lavere andel av ungdomsskolene. Tabell 6.12 Påstander om skolens arbeid med forberedelser til nasjonale prøver. Andeler som er litt eller helt enig. Mellomtrinn Ungdomstrinn Litt enig Helt enig Litt enig Helt enig På min skole samarbeider lærerne om å forberede elevene til nasjonale prøver 27 % 25 % 26 % 12 % På min skole er det stor grad av samsvar i hvordan ulike lærere arbeider for å forberede elevene til nasjonale prøver 26 % 18 % 26 % 12 % På min skole har vi gode rutiner for å gjøre forberedelsene til nasjonale prøver til en del av det pedagogiske utviklingsarbeidet 19 % 8 % 13 % 5 % På min skole er det vanlig å redusere undervisning i andre fag for å trene ekstra på grunnleggende ferdigheter i lesing, regning og/eller engelsk i tiden før nasjonale prøver 17 % 8 % 3 % 0 % På min skole styrker forberedelsene til nasjonale prøver arbeidet med å utvikle grunnleggende ferdigheter hos elevene 31 % 15 % 16 % 3 % Elevenes foresatte forventer at vi bruker tid på å forberede elevene til nasjonale prøver 19 % 6 % 5 % 2 % Elevenes foresatte synes at det går for mye tid til å forberede elevene til nasjonale prøver 4 % 3 % 2 % 0 % Antall (N=) Lærersurveyen viser i all hovedsak stor grad av samsvar med data fra skoleledernivået (kapittel 5) i hva slags materiell som brukes når elevene forberedes til prøvene og at dette i hovedsak er konsentrert til tiden før prøvene. Data fra lærernivået bidrar også med mer utfyllende informasjon om hvordan forberedelsene foregår, hvem som bestemmer omfanget av forberedelser og hvordan forberedelsene er forankret i plan- og utviklingsarbeidet på skolene. Vi har sett at lærerne stort sett bruker tid på hele klassen i forberedelsene, og at et stort flertall av dem avviser at det blir skjøvet på annen undervisning for å øve på nasjonale prøver. Det er bare et mindretall av lærerne som mener at det blir brukt for mye tid på nasjonale prøver. I kommentarfeltet i spørreskjemaet utdyper lærerne svar som gjelder hvordan skolen arbeider med forberedelsene til prøvene. Her har flere lærere uttrykt at det ikke drilles ekstra til nasjonale prøver, men at det synes nødvendig å forberede elevene på oppgaveformen. Imidlertid ser enkelte at praksis på dette punktet kan skape ulikheter mellom skolene: «Vi har mye som skal læres og prøven blir mer reel hvis ALLE skoler kjører likt og ALLE elever fra alle skoler tas med uten å få øve i en spesiell prøveform.» Her kommer det også frem hvordan enkeltlærere kan måtte skyve på noe av egen undervisningstid i forberedelsen til prøvene, fordi skolene etter disse lærernes utsagn ikke legger godt nok til rette for at elevene kan forberede seg. I kommentarfeltet er det også lærere som vil gi til kjenne at det tar altfor lang tid å forberede elevene til nasjonale prøver. Grunnen, skriver disse lærerne, er at prøveformen skiller seg så tydelig fra oppgaver som elevene er vant til å jobbe med. «Hele høsten har gått med til å lære elevene det de burde ha lært i 4. klasse,» skriver en annen lærer. «Det går så mye 111

114 tid med til nasjonale prøver som burde vært brukt på undervisning,» skriver en tredje. «Jeg klarer ikke å hente inn denne tiden slik at vi får nyttiggjort oss av resultatene som foreligger.» En annen lærer beskriver et «jag» fra ledelsen om å øve i tiden før nasjonale prøver. Det er åpenbart fra kommentarfeltene at omfanget og innholdet i forberedelsene til prøvene varierer mye mellom skoler, men flere av respondentene understreker at øving til prøvene bidrar til å styrke det generelle læringsarbeidet på skolene. De kvalitative dataene fra intervjuer med lærerne gir ytterligere innblikk i hvordan skolene forbereder elevene på prøvene. I det følgende har vi skilt mellom utsagn fra barneskole- og ungdomsskolelærere. Barneskolelærerne legger særlig vekt på at de har latt elevene øve på prøvesituasjonen. Mange av dem bekrefter at de for eksempel har latt elevene trene på å sitte stille og lese i 90 minutter, slik at elevene skal kjenne hvordan det er. Lærerne har også latt elevene trene på eksempeloppgaver fra gamle prøver. Her etterlyser norsklærerne flere tekster som elevene kan øve på, og understreker at de mener de tilgjengelige tekstene er gode. Som i kapittel 5, får vi gjennom intervjuene bekreftet at det i hovedsak er matematikktimene som brukes til å øve på regneprøven, norsktimene som brukes til å øve på leseprøven og engelsktimer som brukes til å øve på nasjonal prøve i engelsk. Det varierer litt mellom skolene hvor mye tid lærerne oppgir at de bruker på slike forberedelser. På en skole som har mange elever med minoritetsspråklig bakgrunn, sier lærerne at de må bruke litt ekstra tid på høsten for at elevene skal få det norske språket til å «sitte» etter sommerferien, fordi mange av dem har vært på besøk i foreldres eller besteforeldres opprinnelsesland. Her skyves det også litt på annen undervisning i en avgrenset periode, men ettersom det er elevenes kontaktlærer som står for både forberedelse til nasjonale prøver og undervisning i andre fag, er det lett for disse lærerne å ta igjen for eksempel en eller to timer i musikk eller kunst og håndverk som har blitt utsatt til etter at prøvene er ferdig. «Men kan ikke en elev tolke en tekst, så lærer han det ikke på tre uker i 5. klasse,» sier en av disse lærerne. På en annen barneskole vi har besøkt, understrekes det at det kun brukes matematikk/norsk/engelsktimer til forberedelsene, og maks to eller tre slike fagtimer før hver prøve. Fra alle tre barneskoler vi har besøkt, understrekes det at det ikke avvikes fra læreplanen i tiden før prøvene. Med dette mener lærerne at de ikke forskyver på undervisningstema i matematikk, norsk eller engelsk eller driller ekstra på det de tror elevene er svake i. De mener at de trenger tid til å la elevene bli trygge på prøvesituasjonen, men skiller tydelig mellom dette og det å lære elevene «noe ekstra» som gjør at de kunne gjennomført prøvene med bedre resultater enn hva de ellers ville ha gjort. «Når det gjelder leseopplæring, forbereder man seg jo gjennom hele skoleløpet,» sier en lærer. Kartleggingsaspektet går igjen: «Det viktigste er at jeg skal få informasjon om hvordan det går med dem, og målet mitt er jo at de skal bli så sterke lesere som mulig ikke at de skal gjøre det bra på nasjonale prøver. Det er for så vidt helt uinteressant for meg, men jeg er veldig interessert i hva prøven kan fortelle meg om elevene,» sier en lærer. Her gjelder også, som for skolelederne, at det ikke klusses med virkeligheten: «Hvis jeg nå skulle ha spisset undervisningen inn mot nasjonale prøver, så hadde jeg jo ikke fått noe realistisk bilde av hvilket nivå elevene er på,» sier en annen lærer. På den tredje barneskolen kom vi muligens nærmere en situasjon som beskrevet av Elstad (2009). På denne skolen hadde forrige års elever det en lærer beskriver som «grusomme resultater», med den konsekvens at ledelsen ga kollegiet beskjed om å gjennomgå og endre rutinene i forberedelsene. Her fikk også elevene ta nye prøver på våren for å se om innsatsen hadde forbedret resultatet. Denne læreren tok med seg disse erfaringene til forberedelse av et nytt kull denne høsten, men igjen syntes resultatene skuffende for lærerne da vi besøkte skolen. «Når man ser på resultatene, så kan man jo lure på om man har gjort det man burde gjøre,» mente lærerne som vi intervjuet her. Disse lærerne, som alle hadde overtatt klassene på 5. trinn, ga uttrykk for at de følte seg alene om oppgaven og at verken lærere på de laveste årstrinnene eller kolleger med ansvar for andre fag var interessert eller engasjert i prøvene. Nasjonale prøver ble på denne skolen en sak for ledelsen og lærere i matematikk, norsk og engelsk på 5. trinn. Vi skal komme tilbake til ulik forankring av prøvene i skoleorganisasjonen når vi senere i dette kapittelet tar for oss etterarbeidet med prøvene. 112

115 Ungdomsskolelærerne vi har intervjuet, forteller at de bruker mellom en halv og høyst to skoletimer på å forberede elevene på nasjonale prøver, og at de da går gjennom eksempeloppgavene og eventuelt lar elevene få øve seg på slike oppgaver på data. Elevene har også mulighet til å forberede seg ved hjelp av eksempeloppgavene hjemme. Lærerne understreker ellers at de jobber med grunnleggende ferdigheter gjennom hele skoleåret, og at de kanskje også er ekstra bevisste på for eksempel lesestrategier i tiden før prøvene. «Men det var vel ikke sånn at vi tenkte nå kommer nasjonal prøve, så nå skal vi øve, det var mer en sånn generell greie med at vi hadde fokus på lesestrategier,» sier en ungdomsskolelærer. Og igjen til kartleggingen og behovet for å få det reelle inntrykket av hvilke ferdigheter elevene har: «Det som er viktig med nasjonale prøver er at de skal gi et øyeblikksbilde av sånn som ting er her nå,» sier en annen ungdomsskolelærer. «Det skal ikke være noe man trener spesielt på, for da gjelder det jo ikke. Da viser det jo et feil bilde.» Slik bekrefter de kvalitative dataene at det øves mer på barnetrinnet enn på ungdomstrinnet, men at det i hovedsak øves på samme måte, det vil si å gjøre elevene kjent med oppgaveformen Fritak av elever Skoleleder er ansvarlig for forvaltningen av individuelt fritak fra nasjonale prøver. Grunnlaget for fritak er presentert i kapittel 3, og deretter utdypet med data fra skoleledernivået i kapittel 5. Der gikk det frem at fritak praktiseres strengt kanskje også for strengt. Mer enn halvparten av lærerne (56 prosent) er involvert i å bestemme hvem som skal ha fritak. Det er signifikante forskjeller mellom trinn når det gjelder lærernes involvering i det å bestemme hvem som skal ha fritak, der 69 prosent av lærere på mellomtrinnet mot 46 % av lærerne på ungdomstrinnet involvert i dette. Dette kan være en følge av at lærerne på mellomtrinnet må forventes å kjenne elevene godt, mens elevene i åttendeklasse i de fleste tilfeller akkurat har fått nye lærere fordi de har byttet fra en barneskole til en ungdomsskole. Imidlertid står det i Retningslinjene at «Skoleleder skal i samråd med lærer gjøre en individuell og særskilt vurdering av om resultatene til elever med enkeltvedtak kan være nyttig i lærerens tilrettelegging av opplæringen» (ibid.: 9). Våre data fra lærersurveyen kan tyde på at slike vurderinger ikke alltid blir gjort i samråd med lærer, noe som kan svekke skolens vurdering av om eleven kan nyttiggjøre seg resultatene av prøven i videre læringsarbeid. Dette kan være en svakhet i oppfølgingen av regelverket lokalt, og den er i tilfelle mest omfattende på ungdomstrinnet. Nå har vi imidlertid indikasjoner fra de kvalitative intervjuene med skoleledere som tyder på at det er få elever som i det hele tatt blir fritatt fra prøvene, og bekreftelser på at det kun er elever med enkeltvedtak som blir vurdert for slikt fritak. Vi kan se for oss at behovet for å drøfte fritak med lærerne muligens blir redusert som følge av at skolen har lagt seg på et prinsipp om at flest mulig skal gjennomføre prøven. Vi søkte ytterligere kunnskap om fritakspraksis ved skolen ved hjelp av de kvalitative intervjuene. Her styrkes inntrykket av at fritaksreglene praktiseres svært restriktivt. «Det var en som ble fritatt på hele trinnet,» svarte en lærer. «Alle har deltatt her,» sier en annen, «alle med 5-undervisning, for eksempel, har deltatt.» En lærer med en klasse med mange elever med minoritetsspråklig bakgrunn forteller slik om sine vurderinger: Jeg har elleve elever i klassen som har rett til særskilt opplæring i norsk. Og i tillegg til det så har jeg to elever med spesialundervisning i stort omfang pluss, nei, mer enn elleve er det. Og det er to som kom til Norge for ett år siden, så hvis vi skulle gitt fritak til alle vi kunne ha gitt fritak til, så ville jeg sittet igjen med tre elever eller noe sånt i klassen. Så vi har gitt fritak til to, men det har ikke noe med norsk som andrespråk å gjøre. Det er elever som har såpass store lesevansker at de, ja, de ville kanskje ha kommet seg gjennom overskriftene, engang. ( ) Men ellers, også for de to som har vært i Norge i ett år, de vurderte jeg dithen at det blir spennende å se hvordan de gjør det, det er to meget oppegående elever, og vanligvis ville jeg nok tenkt at det var litt heftig å ha dem med. Men de har lært så fort, og de har skjønt så mye, så vi fant ut at det vil være interessant å se hva de får til. 113

116 De lærerne som i intervjuet kommenterer skolens strenge fritakspraksis, er noe delt i sine vurderinger. En lærer sier at hun er tilfreds med at skolen utviser høy etikk i utøvelsen av regelverket, mens andre lærere er bekymret for opplevelsene av prøvene for elever som de synes burde vært fritatt, og mener at manglende mestring i prøvesituasjonen kan gjøre skolen til en større utfordring for disse elevene. Disse lærerne peker igjen på behovet for klarere retningslinjer om tilrettelegging av prøven for slike elever. Lærerne som i intervju forteller om hvordan de er involvert i å frita elever, legger stor vekt på den faglige begrunnelsen for fritak i skolens dialog med elevenes foresatte. Her er vårt inntrykk at lærere kan ønske å verne elever (som har rett til fritak) mot nederlag i å mislykkes med prøvene, men «til syvende og sist er det foreldrene som bestemmer, vi kan bare komme med anbefalinger» sier en av dem. 6.2 Gjennomføring av prøvene Vi skal kort se tilbake på hva som er skoleleders ansvar under gjennomføringen av prøvene, for å undersøke hvordan dette eventuelt operasjonaliseres på lærernivå (tabell 6.13). Tabell 6.13 Oversikt over skoleleders ansvar før gjennomføringen av nasjonale prøver. Kilde: Skoleleder skal Sørge for at alle elever på egen skole er påmeldt i PAS Sørge for at det er satt av tid i timeplanen for gjennomføring Ha testet skolens datamaskiner og nettverk, og ha et system for brukerstøtte Ha informert lærere, elever og foresatte om gjennomføringen (Kilde: Retningslinjene s. 12) Nasjonale prøver i matematikk og engelsk gjennomføres ved bruk av pc. Siden pc er en forutsetning for å kunne gjennomføre disse to prøvene ble det i spørreundersøkelsen også stilt en del spørsmål om bruk av datateknologi. Det er skoleeiers ansvar å sørge for at skolene har tilstrekkelig teknisk utstyr samt tekniske og menneskelige ressurser til å gjennomføre prøvene (se kapittel 4). Ved omtrent en av fire skoler sier lærerne at det er for få pc-er tilgjengelige på skolen, og at dette skaper problemer i gjennomføringen av nasjonale prøver. Nesten halvparten av lærerne (47 prosent) oppgir at det har oppstått problemer med det tekniske utstyret på skolen, og at dette er en utfordring ved gjennomføring av prøvene. Det kvantitative materialet kan ikke fortelle hva problemene med det tekniske utstyret ved skolen består i. Det er imidlertid få som sier at det er et problem at elevene har for liten forkunnskap om bruk av pc. Tabell 6.14 Problemer med å gjennomføre prøver på PC. Andel som har svart «litt enig» og «helt enig». Mellomtrinn Ungdomstrinn Litt enig Helt enig Litt enig Helt enig...det er for få pc-er tilgjengelig på skolen 19 % 5 % 21 % 6 %...det har oppstått problemer med det tekniske utstyret på skolen 23 % 26 % 31 % 15 %...noen elever har liten forkunnskap om bruk av pc 16 % 4 % 12 % 3 % Antall (N=) De aller fleste lærerne oppgir at de har tilstrekkelig kunnskap om bruk av pc til å kunne administrere prøvene og kunne behandle resultatene fra nasjonale prøver. Kun en av ti sier at de er avhengig av teknisk assistanse. 114

117 Tabell 6.15 Lærernes kunnskap om bruk av PC i forbindelse med prøvene. Mellomtrinn Ungdomstrinn Jeg har tilstrekkelig kunnskap om bruk av PC til å administrere elevenes gjennomføring av prøvene 87 % 86 % Jeg er avhengig av teknisk assistanse for å administrere elevenes gjennomføring av prøvene 13 % 14 % Antall (N=) Jeg har tilstrekkelig kunnskap om bruk av PC til å behandle resultatene fra de nasjonale prøvene i ettertid 88 % 89 % Jeg er avhengig av teknisk assistanse for å behandle resultatene fra de nasjonale prøvene i ettertid 12 % 11 % Antall (N=) Kommentarene fra spørreundersøkelsen forteller om allehånde IKT-problemer som kan oppstå lokalt på skolene, og som kan forsinke gjennomføringen av prøvene når elevene først er satt foran datamaskinene. En lærer forteller i kommentarfeltet at dersom elevene åpnet [engelsk]prøven i Google Chrome, kunne de få frem en oversettelse. Gjennom intervjuene har vi enkelte steder fått høre om maskinpark som er gammel og ustabil, og slitasje som oppstår i prøvesituasjonen både for lærere og elever fordi pålogging ikke virker som den skal. Ved en av skolene går det frem av intervjuene at de tekniske aspektene ved elektroniske prøver gjorde gjennomføringen særlig sårbar: Første dagen vi hadde de prøvene, så funka ikke internett. Da var det tre pc-er som slo seg av midt i. Da blir det litt sånn demotiverende å sitte med elever som er litt spente, og så blir jo resultatene litt annerledes, da, hvis man er stressa eller om det er andre faktorer rundt som gjør at eleven enten ikke gidder å svare eller bare gjetter. Det blir uvisst hva eleven faktisk kan, fordi der er en pressa situasjon. En av mine som jeg vet er veldig sterk, han datt jo ut av programmet etter 30 minutter. Så måtte han løpe opp i administrasjonen og hente nytt passord fordi at da hadde læreren selvfølgelig samlet inn alle de lappene så de ikke skulle misbruke hverandres passord, så det ble jo egentlig et veldig stressmoment. Og han kunne jo ikke begynne på nytt. Da var han allerede midt i. Så ja. Det blir vel kanskje litt unaturlig prøvesituasjon for dem, i og med at det går på tid og det ikke tas hensyn til dataproblemer, for å si det sånn. Ved denne skolen klager både skoleleder, lærer og elever over datautstyret, og det er mye som tyder på at skoleeier har forsømt sitt ansvar. Mindre tekniske problemer kan imidlertid også gjøre prøvesituasjonen litt vanskelig å gjennomføre. Her er en rapport fra en barneskolelærer: Vi tok ut feil passord, vi synes kanskje ikke de sidene var helt lette å forstå, så da vi startet på engelsken, så kom vi ikke inn, og det ble masse frem og tilbake. Så vi måtte ta en pause, og vi måtte sørge for at elevene fikk i seg mat, så de fikk gå opp og spise litt av matpakka. For hvis du går tom for mat, så Så det ble jo mye uro rundt, det så det kan ha en negativ påvirkning. På andre skoler har ledelsen tatt ansvar for å klargjøre maskinene (se også kapittel 7). Dette kan være ekstra tidkrevende, men tar tilsynelatende bort en del «støy» i gjennomføringen av de elektroniske prøvene. Vi har også i spørreundersøkelsen spurt lærerne om hvordan elevene arbeider med prøvene og hvordan lærerne mener at eleven opplever prøvesituasjonen. Det kan se ut til at lærerne mener at det i større grad er et problem at elevene har for mye tid på prøven, snarere enn at de har for lite tid. Når det gjelder lærernes tolkning av elevenes opplevelse av prøvesituasjonen, er det på nytt forskjeller i lærernes svar avhengig av hvilket årstrinn de arbeider med. En majoritet av lærerne på 115

118 mellomtrinnet, 66 prosent, sier seg helt eller litt enig i at noen elever opplever at prøven er for vanskelig, mens det gjelder for 50 prosent av lærerne på ungdomstrinnet. Mellomtrinnslærerne hevder også i større grad enn ungdomstrinnslærerne at noen elever gruer seg veldig til prøven. I tillegg er mellomtrinnslærerne mer opptatte av at prøvesituasjonen ikke er tilpasset elever med dysleksi enn lærerne på ungdomstrinnet. Generelt er det mange av lærerne som mener at prøvesituasjonen ikke er tilpasset elever med dysleksi, en av tre lærere på ungdomstrinnet er helt enige i dette og 44 prosent av lærerne på mellomtrinnet. I tillegg er prosent litt enig i utsagnet, hvilket gjør at det totalt sett er 74 prosent av lærerne på mellomtrinnet og 61 prosent av lærerne på ungdomstrinnet som synes at prøvesituasjonene ikke er tilpasset elever med dysleksi (6.16). Tabell 6.16 Elevenes opplevelse av nasjonale prøver. Andel som er «litt enig» og «helt enig». Mellomtrinn Ungdomstrinn Litt enig Helt enig Litt enig Helt enig...noen elever opplever at de har for liten tid til prøven 19 % 9 % 20 % 6 %...noen elever opplever at de har for mye tid til prøven 21 % 13 % 27 % 5 % *...noen elever opplever at prøven er for vanskelig 31 % 35 % 29 % 21 % *...noen elever gruer seg veldig til prøven 27 % 19 % 18 % 7 % *...prøvesituasjonen er ikke tilpasset elever med dysleksi 30 % 44 % 28 % 33 % * Antall (N=) I kommentarfeltet i spørreundersøkelsen skriver lærere at de opplever at prøvene er for lange og for vanskelige for mange av elevene. De mener at elevene gir opp, mister motivasjonen og velger «tilfeldig» når de skal svare på flervalgsoppgaver. Flere lærere nevner spesielt elever med ADHD og konsentrasjonsproblemer, og mener at prøven ikke er tilpasset disse elevene, slik at også de kan få vist hva de kan. Noen lærere etterlyser klarere regelverk om hvordan man kan tilrettelegge for elever uten at resultatene påvirkes, og kritiserer dagens formuleringer i regelverket fordi de mener at det vil skape ulikhet både mellom lærere og klasser og mellom skoler. Enkelte kommentarer retter kritikk mot innholdet i prøvene, som at elevene forventes å ha kunnskap i samfunnsfag for å kunne svare riktig på prøven som skal måle leseferdighet. Hovedinntrykket av kommentarene er at lærere blir frustrert over en prøvesituasjon der det er svært mange ting som skal klaffe for at elevene faktisk yter sitt beste, slik at resultatene kan gi læreren et riktig bilde av elevenes ferdigheter. En av kommentarene lyder: Det er store forventninger, elever gruer seg, det er trangt om plassen og mye støy når elever sammen skal ta prøven, vanskelig å konsentrere seg. Mye bruk av foreldet språk/spørsmålsformuleringer som dagens elever ikke bruker/skjønner, for eksempel fjernsyn etc. Dette tar tid å forklare elevene, hvis de i det hele tatt spør hva det betyr. Kan føre til unødvendig mye feil. Vi foretar en grundigere gjennomgang av elevenes opplevelse av prøvesituasjonen i kapittel 7 i denne rapporten, hvor vi også behandler kvalitativt materialet fra skoleledere, lærere og foreldre i tillegg til utsagn fra elevene selv og observasjonsdata om gjennomføring av prøvene i klasserommet. Av det kvalitative materialet går det imidlertid frem at det i hovedsak er barneskolelærerne som bekymrer seg for elevene i prøvesituasjonen. Dette gjelder både hvorvidt elevene gruer seg og har vanskeligheter med selve prøven, og om elevene faktisk vil klare å sitte stille i inntil 90 minutter. De lærerne som i intervju kommenterer elevene i prøvesituasjonen, legger imidlertid vekt på hvor flinke elevene deres har vært i den praktiske gjennomføringen av selve prøvene. 6.3 Etter gjennomføringen av prøvene En rekke av skoleleders ansvarsoppgaver, slik disse er gjengitt i Retningslinjene, kan være aktuelle for lærernes oppfølging av resultatene fra nasjonale prøver. Vi skal først se hvilke oppgaver dette dreier seg om (tabell 6.17). 116

119 Tabell 6.17 Skoleleders ansvar etter gjennomføring av nasjonale prøver. Skoleleder skal Sørge for at alle resultatene fra leseprøvene blir registrert innen fristen Sjekke registreringen av fritatt og ikke deltatt. Det er tre kategorier som gjelder: 1 «gjennomført» - alle som har gjennomført og levert prøven sin 2 «fritatt» - elever som er fritatt etter reglene i punkt 2.3 om individuelt fritak 3 «ikke deltatt» - elever som er fraværende på prøvedagen/i prøveperioden, og som ikke har hatt mulighet til å gjennomføre prøven innenfor prøveperioden Sørge for at antallet elever registrert i PAS stemmer overens med det reelle elevtallet på skolen. Følge opp resultatene på skolenivå i det lokale forbedrings- og utviklingsarbeidet. Legge til rette for at alle lærere følger opp resultatene i klassen. Sørge for at elevene og foreldrene får tilbakemelding om resultatene, og at dette sees i sammenheng med annen relevant vurderings-informasjon som læreren har fra før. (Kilde: Retningslinjene s. 14) Registering av elevstatus Skoleleder har ansvar for å registrere elevstatus etter prøvegjennomføring. I kapittel 5 så vi at skoleleder bare i noen grad utfører dette arbeidet selv, og at der det forekommer, skjer dette i hovedsak på små skoler. Av kapittel 5 gikk det imidlertid frem at skoleleder er aktiv i å følge opp registrering av elevstatus. Data fra lærernivå viser på samme måte at det i stor utstrekning er lærerne som registrerer elevstatus etter gjennomføring av prøvene. I alt er det 69 prosent av lærerne som svarer ja på spørsmål om de er involvert i å registrere elevstatus etter prøvenes gjennomføring. Det er litt vanligere blant mellomtrinnslærerne å delta i dette arbeidet (73 prosent svarer ja ) enn blant ungdomstrinnslærerne (64 prosent svarer ja ) Oppfølging av elevenes resultater I følge Retningslinjene skal skoleleder «sørge for at elevene og foreldrene får tilbakemelding om resultatene, og at dette sees i sammenheng med annen relevant vurderingsinformasjon som læreren har fra før» (ibid.: 14). Foresatte får som regel informasjon om elevens resultater gjennom utviklingssamtaler mellom lærer og foresatt. En av tre lærere sier også at de gir informasjon gjennom skriftlig vurdering. Det er ikke noen signifikante forskjeller mellom trinnene. Det også vanlig å gi informasjon om skolens resultater på foreldremøte, i gjennomsnitt sier 43 prosent av lærerne at foresatte får informasjon den veien. 38 prosent av lærerne sier at foresatte også kan få informasjon gjennom media, mens det er kun er en av syv lærere som gir informasjon til foresatte gjennom informasjonsskriv i ranselpost eller at resultatene legges ut på skolens nettsider. 117

120 Tabell 6.18 Hvordan får foresatte informasjon om elevens og skolens resultater på nasjonale prøver? Andel som har svart «ja». Elevens resultater: Mellomtrinn Ungdomstrinn Alle Gjennom utviklingssamtalen mellom lærer og foresatt 91 % 87 % 88 % Gjennom skriftlig vurdering 30 % 26 % 29 % Skolens resultater: Gjennom informasjonsskriv («ranselpost») 15 % 13 % 14 % Resultatene legges ut på skolens nettsider 10 % 18 % 14 % På foreldremøte 47 % 40 % 43 % Gjennom media 38 % 38 % 38 % Antall (N=) Vi spurte lærerne i intervju om de mente at foresatte er opptatt av nasjonale prøver, og hva de foresatte i tilfelle er mest interessert i å vite. Alle lærerne vi snakket med, mente at de foresatte først og fremst er interessert i å vite hvordan deres sønn eller datter har gjort det på prøven. «De fleste er jo interessert i å høre hva de har gjort bra og hva de kan jobbe mer med,» sier en lærer. «Vi snakker med de foresatte om hvordan de kan bidra, dette er en del av foreldresamarbeidet ved skolen,» sier en annen. På to av skolene mente lærerne at foresatte ikke var spesielt opptatte av nasjonale prøver disse skolene hadde veldig ulike resultater av prøvene. «De foresatte er mye mer opptatt av det andre vi sier,» mener en lærer på en skole der resultatene har vært svake, «mer hva som er inntrykket vårt av eleven. Det spørres lite etter resultater på nasjonale prøver.» Flere lærere, også blant dem på jobber på skoler med svakere resultater, understreker sin opplevelse av at de foresatte har tillit til skolen når det gjelder de nasjonale prøvene. Lærerne vi har snakket med, viser også til at informasjonen til foreldrene blir gitt gjennom utviklingssamtalene, slik at elever og foreldre får informasjonen samtidig. De opplever at elevene er spente og nysgjerrige på resultatene. Her forteller imidlertid enkelte lærere at de synes de har for svakt eller for spinkelt grunnlag til å kunne si noe substansielt om hva eleven kan jobbe videre med. Vi skal komme tilbake til dette nedenfor, når vi behandler spørsmålene fra spørreundersøkelsen om hvordan lærerne eventuelt bruker resultatene fra prøvene i det pedagogiske utviklingsarbeidet og tilrettelegging av opplæringen for den enkelte elev. I kapittel 5 viste vi gjennom de kvalitative intervjuene hvordan skoleleder går frem for å lede lærerkollegiet i arbeidet med oppfølging av prøvene. I lærersurveyen har vi stilt lærerne en rekke spørsmål som kan bidra til å utfylle denne informasjonen. Med unntak av påstanden «jeg legger stor vekt på å informere foresatte om elevenes resultater fra nasjonale prøver» er mellom en firedel og en tredel av lærerne indifferente i forhold til påstandene, ved at de svarer «både og» (tabell 6.19). 118

121 Tabell 6.19 Påstander om skolens arbeid med elevenes resultater fra nasjonale prøver. Helt uenig Litt uenig Både og Litt enig Helt enig På min skole er det stor interesse blant lærerne for resultatene fra nasjonale prøver 6 % 15 % 34 % 30 % 15 % * På min skole bruker vi mye tid på å diskutere resultatene fra nasjonale prøver 11 % 19 % 33 % 27 % 9 % På min skole arbeider rektor sammen med lærerne for å analysere resultatene fra nasjonale prøver 13 % 17 % 26 % 27 % 16 % * På min skole arbeider lærerne sammen for å analysere resultatene fra nasjonale prøver 12 % 18 % 30 % 28 % 13 % * På min skole bruker rektor resultatene fra nasjonale prøver når det legges strategier for det pedagogiske utviklingsarbeidet 15 % 17 % 31 % 26 % 11 % * På min skole bruker lærerne resultatene fra nasjonale prøver når vi legger strategier for det pedagogiske utviklingsarbeidet 13 % 17 % 33 % 29 % 8 % Jeg legger vekt på elevenes resultater fra nasjonale prøver når jeg planlegger min egen undervisning 8 % 14 % 32 % 35 % 11 % Jeg legger vekt på elevenes resultater fra nasjonale prøver når jeg gir innspill til andre læreres undervisning 22 % 19 % 37 % 16 % 6 % Jeg har samtaler med enkeltelever om deres resultater fra nasjonale prøver når jeg tilrettelegger undervisningen for dem 7 % 9 % 32 % 34 % 18 % Jeg legger stor vekt på å informere foresatte om elevenes resultater fra nasjonale prøver 3 % 10 % 16 % 36 % 36 % Jeg legger stor vekt på å involvere foresatte i arbeidet med å forbedre elevenes resultater fra nasjonale prøver 13 % 16 % 29 % 31 % 12 % * Jeg opplever at det er stor interesse fra lokalsamfunnet om resultatene fra de nasjonale prøvene 21 % 24 % 34 % 13 % 9 % * Antall (N=) Mer generelt ligger svarene på den positive siden ved at lærerne er enige i påstandene, med unntak av påstandene «jeg legger vekt på elevenes resultater fra nasjonale prøver når jeg gir innspill til andre læreres undervisning» og «jeg opplever at det er stor interesse fra lokalsamfunnet om resultatene fra de nasjonale prøvene». Dette kan sannsynligvis tolkes som at lærerne i liten grad gir innspill til andre læreres undervisning basert på elevresultater fra nasjonale prøver og at interessen for resultatene utenfor skolesektoren kanskje er mindre enn man ofte kan få inntrykk av gjennom media. Retningslinjene sier at skoleleder skal «legge til rette for at alle lærere følger opp resultatene i klassen» (ibid.: 14), og svarene på påstandene «jeg har samtaler med enkeltelever om deres resultater fra nasjonale prøver når jeg tilrettelegger undervisningen for dem» og «jeg legger stor vekt på å informere foresatte om elevenes resultater fra nasjonale prøver» indikerer at dette i stor grad er tilfelle, siden 52 respektive 72 prosent av lærerne sier seg enige i utsagnene. Vi finner også at det er signifikante forskjeller mellom trinnene i svar på alle utsagn merket med *, ved at lærerne på mellomtrinnet er mer enige og viser mer engasjement. For å videreføre analysen av påstandene om hvordan skolen arbeider med elevenes resultater fra nasjonale prøver, har vi brukt faktoranalyse for å gruppere påstandene. Oversikten over hvilke påstander som inngår i hvilken faktor er presentert i tabell 6.20, mer utførlig informasjon om 119

122 faktoranalysen finnes i vedlegg 6. Faktorene som fremkommer i faktoranalysen kan ses på som underliggende dimensjoner i datamaterialet og gir et mønster som uttrykker hvordan de 12 variablene som inngår i analysen samvarierer. Tabellen viser hvilke påstander som i størst grad henger sammen med hverandre. Vi ser at 12 påstander er redusert til fem underliggende dimensjoner eller faktorer. Tabell 6.20 Fem faktorer i faktoranalyse av påstander om skolens arbeid med elevenes resultater fra nasjonale prøver. Resultater brukes på overordnet strategisk nivå Resultater formidles til elever og foresatte Resultater brukes i planlegging av undervisning Resultater skaper interesse og diskusjon på skolen Interesse for resultatene i lokalsamfunnet På min skole arbeider rektor sammen med lærerne for å analysere resultatene fra nasjonale prøver På min skole arbeider lærerne sammen for å analysere resultatene fra nasjonale prøver På min skole bruker rektor resultatene fra nasjonale prøver når det legges strategier for det pedagogiske utviklingsarbeidet Jeg legger stor vekt på å informere foresatte om elevenes resultater fra nasjonale prøver Jeg legger stor vekt på å involvere foresatte i arbeidet med å forbedre elevenes resultater fra nasjonale prøver Jeg har samtaler med enkeltelever om deres resultater fra nasjonale prøver når jeg tilrettelegger undervisningen for dem Jeg legger vekt på elevenes resultater fra nasjonale prøver når jeg gir innspill til andre læreres undervisning Jeg legger vekt på elevenes resultater fra nasjonale prøver når jeg planlegger min egen undervisning På min skole bruker lærerne resultatene fra nasjonale prøver når vi legger strategier for det pedagogiske utviklingsarbeidet På min skole er det stor interesse blant lærerne for resultatene fra nasjonale prøver På min skole bruker vi mye tid på å diskutere resultatene fra nasjonale prøver Jeg opplever at det er stor interesse fra lokalsamfunnet om resultatene fra de nasjonale prøvene Den første faktoren har vi valgt å kalle «resultater brukes på overordnet strategisk nivå». Vi ser vi at skoleleder har en sentral rolle i bruken av resultatene, samtidig som hele staben er inkludert i analyser og strategiutvikling, mens mer detaljert undervisningsplanlegging ikke er relevant her. Den andre faktoren har vi gitt betegnelsen «resultater formidles til elever og foresatte». Dette uttrykker underforstått den enkelte lærers ansvar, ettersom alle utsagnene starter med «jeg». Det kan gjelde formidling av både enkeltelevers og hele klassens eller skolens resultater. Den tredje faktoren kaller vi «resultater brukes i planlegging av undervisning». Denne faktoren gjelder både enkeltlæreres og lærergruppas undervisningsplanlegging. Den fjerde faktoren har vi gitt merkelappen «resultater skaper interesse og diskusjon på skolen». Denne faktoren er basert på to påstander, og er mer verdimessig nøytral sammenlignet med de tre tidligere faktorene. Den sier for eksempel ikke noe om interessen og diskusjonen er motivert ut fra negative eller positive holdninger til bruken av resultatene fra nasjonale prøver. Den siste faktoren kaller vi «interesse for resultatene i lokalsamfunnet», og er i hovedsak basert på én av påstandene. Den er likevel ikke identisk med dette utsagnet, fordi også andre utsagn gir bidrag, riktignok svake. For å se hvordan disse faktorene samvarierer med bakgrunnsvariabler skal vi nå bruke de fem faktorene som variabler i videre analyser. Disse vil være standardiserte, slik at gjennomsnittet for hver 120

123 faktorvariabel er lik 0 og standardavviket er lik 1. Analysene blir presenter som diagrammer der punkter innenfor den indre grå femkanten viser negativ sammenheng, mens punkter utenfor den indre grå femkanten viser positiv sammenheng. Variasjon etter landsdel Figur 6.3 viser hvordan lærere i fire landsdeler skårer på de fem variablene faktoranalysen har generert. Hver landsdel har sin fargekode, og plasseringen i diagrammet bestemmes av gjennomsnittsskåren for den enkelte landsdel på de fem variablene. Siden gjennomsnittet er null for alle variablene, har vi markert dette som en grå femkant midt mellom sentrum og ytterkanten av de fem aksene som går ut fra sentrum. Figur 6.3 Gjennomsnittsverdi på fire faktorvariabler etter landsdel. Figur 6.3 viser at de fire landsdelene har hvert sitt distinkte uttrykk i diagrammet. Det kan dermed fortelles fire forskjellige historier om bruken av og holdningen til resultatene fra nasjonale prøver. Oslo og Akershus (blå) skiller seg tydeligst ut ved å ha den høyeste skåren på tre av de fem variablene, og praktisk talt samme relativt høye skår som Østlandet på den fjerde og femte. Det kan tolkes som at det er et generelt høyt engasjement om nasjonale prøver her. Dette er ikke uventet, ettersom mye av diskusjonen om resultater fra nasjonale prøver har tatt utgangspunkt i dette området. Det er særlig når resultatene brukes i planlegging av undervisning og at det samtidig er interesse for resultatene i lokalsamfunnet, at hovedstadsområdet skiller seg ut. Samtidig er skårene godt over gjennomsnittet også for at resultatene skaper interesse og diskusjon på skolene og at de brukes på overordnet strategisk nivå. Sør- og Vestlandet (grønn) har et mønster som er preget av generelt lavt engasjement. Landsdelen skårer ikke over gjennomsnittet på noen av variablene, og lavest av alle på interesse og diskusjon samt bruk av resultatene i planlegging av undervisning. Det er for øvrig når det gjelder planlegging av undervisning vi finner de største forskjellene mellom landsdelene. Midt- og Nord-Norge (oransje) 121

124 skårer relativt høyt på denne variabelen, men lavest av alle på bruk av resultatene på overordnet strategisk nivå, formidling til elever og foresatte og interesse i lokalsamfunnet. Det øvrige Østlandet (rød) ligner på hovedstadsområdet når det gjelder to av variablene, nemlig bruk av resultatene på overordnet strategisk nivå og formidling av resultater til elever og foresatte. Landsdelen skårer klart under gjennomsnittet når det gjelder bruk av resultatene i planlegging av undervisningen. Det er ikke sammenfall mellom de landsdelene vi har brukt som enheter i denne faktoranalysen og skoleeiernivået. Hver landsdel i analysen består i vårt materiale av lærere i mellom fem (Oslo og fire kommuner i Akershus) og 22 kommuner (Østlandet). Noe av den variasjonen vi finner kan skyldes tilfeldigheter og vi må ta forbehold for dette. Hovedmønsteret med høyt engasjement i Oslo og Akershus og lavt på Sør- og Vestlandet tror vi likevel er reelt. Variasjon etter erfaring med ulike prøver Vår undersøkelse bygger på et skjema med felles spørsmål til alle lærere som har vært involvert i arbeidet med nasjonale prøver, uavhengig av hvilke prøver de har erfaring med. Erfaringene fra kvalitative intervjuer med lærerne (se for eksempel kapittel 7 der rektorer og lærere uttaler seg om elevenes erfaringer) og fritekstkommentarer de har gitt i den digitale undersøkelsen, tyder på at erfaringene kan variere noe med prøvetype. Vi har imidlertid en utfordring i å identifisere grupper av lærere etter hvilke prøver de har arbeidet med, fordi svært mange oppgir at de har arbeidet med flere enn en prøve. En av fire har erfaring fra alle tre typer, mens like mange har arbeidet med to. 23 prosent har arbeidet bare med leseprøven, 17 prosent bare med regneprøven og ni prosent bare med engelskprøven. I figur 6.4 skiller vi mellom fire grupper; de som har erfaring med alle tre typer og de som har erfaring med bare én prøve. Dermed har vi med tre av fire lærere. Figur 6.4 Gjennomsnittsverdi på fire faktorvariabler etter prøvetype. Også for lærere med erfaringer fra ulike prøvetyper finner vi klare forskjeller, og nå mener vi å være på tryggere grunn enn i skillet mellom landsdeler. Det er flere slående trekk i figuren, kanskje først og fremst ved at lærere som bare har erfaring fra regneprøven (grønn) skårer lavest av alle på fire av fem 122

125 dimensjoner. Dette tolker vi som et uttrykk for at denne gruppa opplever langt mindre engasjement og trolig også mindre nytte av resultatene fra nasjonale prøver enn andre lærere, noe som stemmer godt med inntrykket fra de kvalitative intervjuene med lærerne. De som har erfaring med alle tre prøvetyper (blå), skårer på sin side høyere enn gjennomsnittet på tre av fem dimensjoner. Dette virker som et logisk resultat, ved at de i sum kan oppleve nytte av prøvene og oppleve at det er interesse for prøvene både på skolen og i lokalsamfunnet når de har så bred erfaring fra prøvene som disse lærerne har. Lærerne som bare har erfaring fra leseprøven (rød), skårer som gjennomsnittet på at resultatene skaper diskusjon og interesse og at de brukes i planlegging av undervisning, under gjennomsnittet på bruk på et overordnet nivå og over gjennomsnittet i formidling til elever og foresatte, det siste i likhet med dem som har erfaring med alle tre prøver. Dette gir oss en indikasjon på at det er leseprøven som har det største potensialet i å gi tilbakemeldinger til den enkelte elev og dennes foreldre. Forklaringen på dette kan være at leseprøven ikke er digital og dermed tilgjengelig for lærerne, hvis de har tid til å gå inn i det svært omfattende materialet. Lærerne utfører dessuten selv skåringsarbeidet med leseprøven, slik at de på den måten blir kjent med hver enkelt elevs resultat. Lærere som bare har erfaring med engelskprøven, skiller seg ut på en svært spesiell måte. De opplever i større grad enn gjennomsnittet at resultatene skaper interesse og diskusjon på skolen, og at de brukes på et overordnet strategisk nivå. Når det gjelder bruk av resultatene i planleggingen av undervisningen, er de som gjennomsnittet. Det store avviket gjelder formidling til elever og foresatte, hvor de ligger langt under gjennomsnittet. Dette er det største enkeltavviket vi finner i de analysene vi har gjort av de fire dimensjonene ved arbeidet med resultatene fra prøvene. Utsagn fra lærere med erfaring fra engelskprøven kan illustrere dette når de i gruppeintervjuer gir uttrykk for at prøveformen ikke gjør det mulig å gjøre rette- eller tolkearbeid overhodet (se også kapittel 7). Variasjon etter skoleslag Vi kan i vårt materiale skille mellom de tre skoleslagene barneskole, 1-10 skole og ungdomsskole. 18 prosent av lærerne i undersøkelsen arbeider ved 1-10 skoler, som ofte har relativt få elever og lærere pr trinn, mens de øvrige fordeler seg omtrent likt mellom barneskoler og ungdomsskoler. Drøyt halvparten av lærerne på 1-10 skolene jobber på ungdomstrinnet, mens de øvrige fordeler seg likt mellom lærere som bare jobber på mellomtrinnet eller på begge trinn. Figur 6.5 viser stor variasjon mellom lærere fra ulike typer skoler. Det viktigste funnet er at lærere ved barneskolene skårer høyere på alle fire dimensjoner enn lærerne ved ungdomsskolene. Dette er uttrykk for et generelt høyere engasjement ved barneskolene, noe som kommer klart til uttrykk også for seks av de tolv spørsmålene i tabell 6.20, som danner grunnlaget for faktoranalysen og analysen av de fem underliggende dimensjonene. Intervjuer med lærere og elever og observasjoner av prøvesituasjonen (kapittel 7) bekrefter denne forskjellen. Forskjellen er størst når det gjelder formidling av resultater til elever og foreldre og minst der vi spør om resultater skaper interesse og diskusjon. Lærerne ved barneskolene opplever også i større grad enn andre lærere at det er interesse for resultatene i lokalsamfunnet. Svarene fra de relativt få lærerne som jobber ved 1-10 skolene avtegner et helt spesielt mønster ved at de skårer lavt på bruk av resultatene i planlegging av undervisning og formidling til elever og foresatte, og høyt ved bruk av resultatene på overordnet strategisk nivå. Kan dette forklares med at disse skolene har relativt få elever på hvert trinn og dermed få elever som gjennomfører nasjonale prøver hvert år, mens de til gjengjeld kan følge disse elevene fra 5. trinn til 8. og 9. trinn? Kan dette gjøre at fokus løftes fra den enkelte elev og klassen, som lærerne kanskje kjenner godt nok allerede uten hjelp av nasjonale prøver, til skolen som helhet og dens utvikling over tid? Vi har ikke noe spørsmål til skolelederne som kan bekrefte dette. Det nærmeste vi kommer er påstanden «Nasjonale prøver har gitt meg som skoleleder et godt redskap til å utvikle skolen» (se kapittel 5). I den grad skolelederne ved 1-10 skolene skiller seg ut i forhold til dette utsagnet, er det ved å ha en litt mer reservert holdning enn andre skoleledere, men de er fortsatt på den klart positive siden. Dette kan kanskje tolkes som at det ved 1-10 skoler er litt mindre forventninger til nytten av nasjonale prøver enn 123

126 ved andre skoler, men når man ser nytten av resultatene fra prøvene, så er det ved at de kan brukes på et overordnet, strategisk nivå. Figur 6.5 Gjennomsnittsverdi på fire faktorvariabler etter skoleslag. To av bakgrunnsvariablene vi har brukt, den som gjelder læreres erfaring med henholdsvis regne-, lese- eller engelskprøven og den som gjelder skoleslag, kan utdypes noe gjennom det kvalitative materialet. Vi ser av dette materialet at flere norsklærere mener at prøvemateriellet gir dem et godt utgangspunkt for å gå videre med elevenes resultater, men at dette krever en større innsats som disse lærerne mener at de ikke har tid til og heller ikke får kompensert for. I kommentarfeltet i lærersurveyen skriver en lærer: Jeg vil gjerne bruke mer tid på å analysere prøvene og legge opp ekstraundervisning etter dette, men jeg har ikke tid eller kompetanse. De lærerne som ikke gjør noe, 'belønnes' med at de slipper masse stress. Dersom du ønsker å lære deg hvordan du skal lese resultatene og hva du gjøre med resultatene skaffer du deg masse ekstraarbeid uten noen form for kompensasjon. En lærer som underviser i både norsk og engelsk, mener i intervju at leseprøven gir bedre mulighet til å se hvilke oppgaver elevene ikke har fått til, men at det likevel ville tatt for mye tid å analysere hver oppgave for å se hva den enkelte må jobbe mer med. Hun får støtte av en kollega på en annen skole, som sier at hun opplever at det er helt opp til henne å bruke resultatene fra leseprøven i oppfølging av elevene, men at det ikke er tid til å gå gjennom resultatene like grundig for alle elever. Derfor er det de 124

127 svakeste og de sterkeste elevene som får sine resultater analysert på denne måten, som et ledd i å tilpasse opplæringen for disse elevene. «Det hadde jo vært fantastisk å finne ut av dette ved å trykke på en knapp,» sier denne læreren, og viser til det rettearbeidet som norsklærerne får etter leseprøven, sammenlignet med kollegene som underviser i engelsk og matematikk. Imidlertid synes enkelte av matematikk- og engelsklærerne vi har snakket med at de får lite ut av prøven. En engelsklærer sier: Det som er vanskelig på engelsken, er å vite hva jeg skal bruke det til. For altså, nå fant jeg noe sånn foreløpig mestringsnivå inne på sidene, og når jeg ser på poengene og nivået de ligger på, så er det ganske sånn cirka som jeg tenkte det var. Men jeg føler ikke at jeg konkret får vite hva det er de sleit med. Så hvis forklaringen er at de ikke har skjønt oppgaven, så gir det meg egentlig ikke noe verktøy å jobbe med framover. Jeg føler ikke at den er konkret nok til å fortelle meg hvilke områder i engelsken de sliter med. Det er ikke klart for oss hvor vidt slike kommentarer gjelder den særskilte prøven, eller om det gjelder måten lærerne er bedt om å bruke resultatene på. Deler av engelskprøven og hele regneprøven høsten 2012 ble holdt hemmelig for lærerne, fordi disse oppgavene skal brukes kommende år som et ledd i utviklingen av trendmålinger i nasjonale prøver. Dette skapte irritasjon på skolene vi besøkte i den grad lærerne der var opptatt av å bruke resultatene videre. Det samme ser vi i kommentarene fra lærersurveyen. «Siden prøvene er elektroniske, og vi ikke har noe med innholdet i prøven eller rettingen å gjøre, er det vanskelig å få et forhold til hva elevene kan og ikke. Det skal en del arbeid til for å få utbytte av resultatet,» skriver en lærer. «Fant ingen forklaring/veiledning på hva elevene var prøvd i på nett og kunne dermed ikke bruke resultatene til noe som helst. Hva var det egentlig de var dårlige i?» skriver en annen. Andre setter spørsmålstegn ved validiteten i prøveresultatene ved å vise til alle uregelmessighetene som de opplever i prøvesituasjonen. På dette grunnlaget konkluderer de med at de er kritiske til å bruke resultatene videre. «Jeg synes det er for mange feilkilder som påvirker i prøvesituasjonen, og vektlegger derfor ikke resultatene. Bruker min kjennskap til eleven for å tilrettelegge,» skriver en lærer. Det som kan være lærernes overgripende problem i å gi tilbakemelding til elevene, uttrykkes i vårt intervjumateriale kanskje best ved det nedenstående utsagnet: Det som jeg syntes var veldig synd, var for eksempel i den konferansesamtalen, å si ja, hun er på nivå 2, det er litt kritisk, det betyr at hun må øve mye på lesestrategier. Det var jo for så vidt greit, det, og beskjeden gikk igjennom. Men jeg kunne ikke - heldigvis ble det ikke så mye oppfølgingsspørsmål og sånn, for jeg kunne ikke svare på hvorfor er jeg på nivå 2? Det kunne jeg ikke svare på. Her pekes det på noe vi opplevde som et gjennomgående problem for lærerne vi intervjuet, nemlig at beskrivelsen av mestringsnivået i seg selv ikke hjelper dem til å hjelpe eleven videre. «To elever på nivå 4 kan ha vidt forskjellige utfordringer,» sa en ungdomsskolelærer. Enkelte lærere uttrykker imidlertid tilfredshet over hvor raskt de i høst kunne få tilgang til elevenes mestringsnivåer. Dette handler likevel bare om å få kjennskap til elevenes mestringsnivå, og løser ikke lærernes utfordringer i å gi mer spissede tilbakemeldinger til elevene. «Her på skolen er vi opptatt av å gi elevene fremovervurderinger,» sier en lærer som tidligere i intervjuet uttrykte misnøye med prøvene, «og nasjonale prøver viser meg ikke hvordan elevene kan bli bedre. Jeg kan se hva de ikke mestrer, men det visste jeg fra før.» Vi tolker det slik at skillet mellom kartlegging og vurdering er underliggende i mange av utsagnene fra lærerne i intervjuene, hvor lærerne i all hovedsak ser på nasjonale prøver som en kartlegging av elevenes ferdigheter før de kommer til ungdomsskolen, eller også idet de kommer fra småskoletrinnet opp i 5. klasse. «For hvem er det som eier disse resultatene?» spør en lærer, «er det oss, som overtar elevene, eller er det lærerne som hadde dem tidligere?» Svaret på dette spørsmålet, særlig på ungdomsskolen, er at resultatet forteller noe om innsatsen på mellomtrinnet. Likevel kan lignende holdninger også gjøre seg gjeldene på barneskoler, noe som vitner om samarbeidskulturen som preger enkeltskoler. Her skiller alle skolene i materialet seg mellom hvordan lærerne opplever 125

128 skoleleders oppfordringer og tilrettelegging for samarbeid mellom årstrinn, fra en gjennomgripende bearbeiding av hvordan det jobbes med for eksempel lesestrategier på skolen, til «skippertak» og kortvarige satsninger, som har endt med at lærerne føler seg isolerte og alene med arbeidet (Elstad 2009). «Prøvene og resultatene angår hele kollegiet,» sier en lærer: «det gjenspeiler hvordan vi jobber. Vi samarbeider, vi følger med på hva elevene holder på med på de lavere trinnene, vi forsøker å følge med på alle elevenes progresjon. Derfor må vi vite hva elevene lærer på 1., 2. og 3. trinn. Vi må se alle sammenhengene.» Dette var på en skole der resultatene over tid hadde vært dårlige, men hvor en oppadgående trend nå var synlig. «Lærerne i småskolen synes jo dette er spennende,» sier en lærer på en annen skole med gode resultater, «for det er jo på en måte deres resultater vi måler.» «Vi har fått resultatene og ledelsen er interessert og lærerne som hadde disse elevene i fjor er interessert, men hva nå?» spør en lærer på en skole hvor resultatene har vært skuffende. «Nå er det opp til oss hva vi gjør med det.» «Det er en alene-jobb,» sier en lærer på en ungdomsskole som etter rektors utsagn har kommunens svakeste resultater. «Det angår liksom bare oss som har de fagene. Det er vel vanskelig for de andre å se viktigheten av å øve på for eksempel lesing i andre fag, og det er jo dumt.» Særlig en av barneskolene i utvalget vårt der resultatene er for oppadgående ser ut til å ha lyktes i å gjøre prøvene skoleomfattende. Lærerne vi intervjuet på to av de andre skolene en barneskole og en ungdomsskole som sliter med resultatene sier at de ønsker at deres skole kunne ha fått til å gjøre prøvene til noe som angår hele skolen. Imidlertid er det ikke alle lærere som deler et slikt ønske. På en ungdomsskole med jevnt over gode resultater på nasjonale prøver, ville lærerne helst gjennomføre prøvene slik de er pålagt, men mente samtidig at de ikke så den store nytten med prøvene. Dette var et redskap for å rangere skolen, mente de, og ikke anvendelig i møte med den enkelte elev. «Vi retter prøvene, vi ser hvordan de har gjort det, vi konfererer med hverandre, men det er bare enda et moment som går inn i den store helheten,» sier en av disse lærerne. Vi skal komme tilbake til spørsmålet om prøvenes anvendelighet. Først vil vi imidlertid legge til at kommentarer fra spørreundersøkelsen også viser at nasjonale prøver har ført til hva lærere oppfatter som positiv utvikling av skolen, med satsning på lesestrategier og mer helhetlig tenkning rundt grunnleggende ferdigheter. «De siste to årene har min skole hatt økende fokus på nasjonale prøver, og dette har ført til at grunnleggende ferdigheter har fått en sentral plass i alle lokale fagplaner ved skolen fra og med dette skoleåret,» skriver en lærer i spørreundersøkelsens kommentarfelt Offentliggjøring av resultater fra nasjonale prøver I spørreundersøkelsen spurte vi også lærerne om hvorvidt resultatet fra nasjonale prøver blir offentliggjort. Litt i underkant av halvparten av lærerne svarer at de ikke har opplevd at resultatene fra nasjonale prøver har blitt offentliggjort. Blant den halvparten som har opplevd offentliggjøring av resultater, har det i praktisk talt alle tilfeller skjedd via media eller avis, mens relativt få i tillegg har opplevd at det har skjedd via skolens hjemmesider, gjennom egne brosjyrer eller annet. Tabell 6.21 Offentliggjøring av resultater fra nasjonale prøver. Har du opplevd at resultatene fra nasjonale prøver på din skole har blitt offentliggjort? Mellomtrinn Ungdomstrinn Alle Nei 47 % 46 % 47 % Via avis/media 50 % 48 % 49 % Via skolens hjemmesider 4 % 8 % 6 % Via egne brosjyrer om resultatene av nasjonale prøver 3 % 3 % 3 % Annet, vennligst spesifiser 3 % 1 % 2 % Antall (N=) I spørreundersøkelsen fikk lærerne også mulighet til å gi fritekstkommentarer til spørsmålet som gjaldt offentliggjøring av resultater. De som har valgt å kommentere, er kritiske til praksisen. «Jeg mener at 126

129 verdien av de nasjonale prøver er sterkt overdrevet,» lyder en av kommentarene. «Resultatene på nasjonale prøver er avhengig av mange faktorer og derfor usikker. Disse resultatene må sees i sammenheng med de observasjoner læreren har gjort seg av eleven over tid.» Andre peker på at negativ omtale i media over tid sliter på både lærere og elever. Noen viser i kommentarfeltet til at så lenge resultatene er gode, gjør det ikke noe at avisene skriver om dette: Til nå har resultatene vært gode, og da er det jo bare hyggelig. Kommer det derimot en klasse med mange elever med særskilte behov for eks, kan det være problematisk med unyansert omtale i media. Det blir også lett misvisende, da praksisen med fritak av elever fra prøven virker til å variere mye fra skole til skole. Ikke alle er like kritiske: «Vi er en offentlig tjenesteprodusent, så det skulle bare mangle at de blir offentliggjort, så lenge ikke enkeltelever eller lærere henges ut,» skriver en lærer i surveyens kommentarfelt. «Jeg er selv interessert i sammenligning mellom skoler og nasjonalt,» skriver en annen. Andre bruker kommentarfeltet til å formidle at de ser en overordnet mening med prøvene som ikke handler om man er for eller imot offentliggjøring av resultatene: Det spiller egentlig ingen rolle om de blir offentliggjort eller ikke. Det som er viktig for meg er å måle mine elevers ferdigheter og kunnskaper i lesing, regning og engelsk. Det gir meg en pekepinn på om undervisningen har vært god nok eller bør forbedres. Dessuten gir resultatene foreldre og elever en forståelse av hvor landet ligger og hvilke krav som stilles for å oppnå de forskjellige mestringsnivåene. I forkant av prøvene har elever og foresatte fått i lekse å gjøre en av de tidligere nasjonale prøvene i lesing, regning og engelsk som hjemmelekse. Det har vært svært nyttig. Tør påstå at mange har våknet! De blir sjokkerte over hvor vanskelige prøvene er. Så det er bare å brette opp ermene for store og små. Andre kommentarer uttrykker at det er helt greit med offentliggjøring av resultater, så lenge deltakelsesprosenten på hver skole også offentliggjøres. En kommentar lyder på at offentliggjøring i seg selv ikke er problemet, men at det oppleves som lite konstruktivt at folk utenfor skolen skal kunne mene så mye om kvaliteten på opplæringen uten å ha det kunnskapsmessige grunnlaget for å komme med kvalifiserte uttalelser. «Når det brukes med vett er det ganske problemfritt,» skriver en annen lærer, «men med for snever tilnærming blir det lite hensiktsmessig å f.eks. sammenligne resultater fra ulike kull.» Flesteparten av kommentarene i lærersurveyen som angår offentliggjøring av resultater, er imidlertid overveiende negative: «Jeg synes ikke de har noe å gjøre i media!! Begrunnelse: Det er svært mange faktorer som spiller inn med hensyn til resultatene (bl.a. elevmateriale) og dette kan slå uheldig ut når det er små forhold.» Andre skriver at de er negative til offentliggjøring av resultater, men vil samtidig understreke at de ser at prøvene kan bidra til å utvikle den enkelte skole. Lærerne vi har intervjuet, er også gjennomgående negative til at skolens resultater blir offentliggjort i media. Noen legger vekt på skolens omdømme. «Jeg ble jo ikke lærer fordi det var slik at jeg trengte en jobb,» sier en av dem, «det er noe jeg brenner for, og da er det leit hvis andre får inntrykk av at vi er dårlige lærere fordi vi ikke gidder å gi elevene god undervisning.» Andre lærere sier at de prøver å bry seg minst mulig om hva media skriver, fordi de ser på prøvene som et redskap for å utvikle skolen, ikke for å konkurrere med andre skoler. Derfor kan det også bli problematisk, mener noen lærere, dersom skolenes skåre på nasjonale prøver brukes av skoleadministrasjonen i kommunen som måltall for å presse skolen i en utvikling som det enten ikke er grunnlag for, eller som av andre årsaker kan være vanskelig å få til. «Hvis alle skal bli bedre enn gjennomsnittet, så blir det jo litt vanskelig,» som en lærer uttrykker det. I intervjuene etterlyser flere av lærerne klare beskjeder om hva som skal være verdien av nasjonale prøver, og at disse beskjedene når frem i offentligheten. «Jeg synes det legges kunstig mye vekt på prøvene når skoler måles opp mot hverandre,» sier en lærer. «Det er jo dette som trekkes frem hver gang man snakker om skolen, og det er jo kanskje det eneste målet man har, men da bør det vel også bli klarere hva som er hva i nasjonale prøver.» «Hvordan vi skal bruke resultatene til å fremme elevenes læring, det er det som er meningen, men det er ikke sånn det fungerer,» sier en annen 127

130 lærer. «Sånn fungerer det innad i skolen, men utad i lokalsamfunnet fungerer det ikke sånn. Det blir en rangering av skolene i denne kommunen, det er det det er.» «Jeg synes det er meningsløst med slik offentliggjøring,» sier en tredje lærer: Når jeg ser at en skole har fått kjempebra resultat, så tenker jeg ikke automatisk: Åh, for en fantastisk skole! Det gjør jeg ikke, fordi jeg vet at det er så mange ting som kan avgjøre hvordan den nasjonale prøven har gått. Det er variasjoner fra år til år i elevmassen vi får, som vi ikke kan gjøre noe med. Så jeg ser veldig liten verdi av det. Du kan ha kjempesvake kull. Jeg husker for noen år tilbake, så var det jo en skole i kommunen her som bare hadde 14 elever som gjorde det forferdelig dårlig på nasjonale prøver, og de ble nesten uthengt som en dårlig skole. Og det syntes jeg var forferdelig dårlig gjort. For det hadde jo ikke noe med det ble bare sånn. Og det blir jo veldig gjennomsiktig når det er veldig, veldig små skoler. Det blir nesten sånn krisemaksimering, åh, hva skal vi gjøre med den skolen. Det synes jeg ikke er noe ålreit. En annen lærer peker på hvordan noen skoler kan ha stor søkning fra elever med spesielle behov i opplæringen, og hvordan dette kan påvirke skolenes snitt. Denne læreren etterlyser måling av «skolebidragsfaktor» av samme årsaker. Elevkull varierer mellom skoler og mellom årsklasser men en måling av hva den enkelte skole, med skolens forutsetninger, hadde klart å gi elevene, kunne ifølge denne læreren gitt et bedre sammenligningsgrunnlag mellom skoler. At du hele tiden ser på hva vi har gitt dem. Akkurat det med demografi, det blir også noe med hypotetiske figurer eller tall som man på en måte trekker fra og legger til. Men rene fakta: Hva har de når de kommer inn og hva får de når de går ut? Det hadde vært fint å se. Men det er sikkert ikke lett. Ikke alle lærere opplever det på den måten. En av lærerne vi intervjuet, hadde tidligere jobbet som skoleleder. Hun syntes det var ekstra interessant å følge med på skoler som hadde omtrent samme elevmasse og forutsetninger som skolen hun jobbet på i dag. «Hvis andre skoler med like forutsetninger kan gjøre det bra, må vi spørre oss hva vi kan få til, vi også,» mente hun. «Da må vi gå inn i pedagogikken og spørre går vi glipp av noe her?» Et generelt mål for opplevd nytte av prøvene blant lærerne Til slutt i spørreundersøkelsen ble lærerne bedt om å vurdere nasjonale prøver generelt, ved å si seg enig eller uenig i utsagnet «Nasjonale prøver er et godt redskap for meg i arbeidet mitt». Det er en klar forskjell mellom mellomtrinnet og ungdomstrinnet i hvilken grad de sier seg enige i utsagnet. Nesten halvparten av lærerne på mellomtrinnet sier seg helt eller litt enig, mens dette kun gjelder for en drøy tredel av lærerne på ungdomstrinnet. Dette signaliserer nok en gang at lærerne på mellomtrinnet er mer engasjert i nasjonale prøver enn sine kollegaer på ungdomstrinnet. Tabell 6.22 Generell vurdering av nasjonale prøver. Som en oppsummering ber vi deg om å gi oss din generelle vurdering av nasjonale prøver. Ta stilling til utsagnet "Nasjonale prøver er et godt redskap for meg i arbeidet mitt." Helt uenig Litt uenig Både/og Litt enig Helt enig Mellomtrinn 13 % 13 % 27 % 37 % 10 % 100 % 196 Ungdomstrinn 9 % 22 % 33 % 29 % 6 % 100 % 226 Alle 11 % 18 % 30 % 33 % 8 % 100 % 439 Utsagnene i tabell 6.22 kan brukes som avhengig variabel i en regresjonsanalyse for å avdekke samvariasjon mellom opplevd nytte av prøvene i arbeidet og andre forhold som avdekkes gjennom undersøkelsen og bakgrunnskjennetegn ved skoler og lærere. Vi velger å bruke lineær regresjon til dette formålet og tabell 6.23 viser hvilke forhold som viser statistisk signifikant samvariasjon med svarene utsagnet «Nasjonale prøver er et godt redskap for meg i arbeidet mitt». 128

131 Tabell 6.23 Regresjonsanalyse med opplevd nytte av nasjonale prøver som avhengig variabel. Ikke-standardiserte koeffisienter Standardiserte koeffisienter B Std.feil B Beta Konstantledd 3,118 0,120 26,002 0,000 Resultater brukes på overordnet strategisk nivå 0,107 0,042 0,095 2,559 0,011 Resultater formidles til elever og foresatte 0,290 0,042 0,257 6,886 0,000 Resultater brukes i planlegging av undervisning 0,426 0,042 0,378 10,164 0,000 Resultater skaper interesse og diskusjon på skolen 0,288 0,042 0,256 6,945 0,000 Interesse for resultatene i lokalsamfunnet 0,083 0,042 0,073 1,981 0,048 Forberedelsene til nasjonale prøver er jevnt fordelt gjennom hele skoleåret 0,091 0,031 0,111 2,898 0,004 Jeg synes at jeg bruker for mye tid på forberedelsene -0,164 0,035-0,177-4,665 0,000 Lar elevene øve flere ganger i året 0,269 0,134 0,077 2,009 0,045 Bruker eget eller skolens øvingsmateriell 0,300 0,128 0,089 2,341 0,020 Avhengig variabel: Som en oppsummering ber vi deg om å gi oss din generelle vurdering av nasjonale prøver. Ta stilling til utsagnet "Nasjonale prøver er et godt redskap for meg i arbeidet mitt." Svarskala: fra 1(helt uenig) til 5 (helt enig) R2 = 0,371. t Sig. Modellen presenterer kun de variablene som har signifikante effekter. Følgende uavhengige variabler har også blitt testet, uten at de viser signifikant samvariasjon med den avhengige variabelen: Kjønn, alder, ansiennitet, skoletype, skolestørrelse, prøvetype og klassetrinn. Det er først og fremst en samvariasjon, eller vekselvirkning, mellom opplevelsen av nytte ved nasjonale prøver og de uavhengige variablene vi observerer, og vi er derfor forsiktige med å bruke begrepet «effekt» i forbindelse med denne analysen. I analysen bruker vi de fem faktorvariablene vi har laget på grunnlag av faktoranalysen. Vi finner en sterk samvariasjon mellom opplevd nytte av nasjonale prøver og bruk av resultatene til planlegging av undervisning og noe svakere med formidling av resultater og interesse og diskusjon rundt resultatene. Bruk av resultatene på overordnet strategisk nivå slår betydelig svakere ut, mens interesse for resultatene i lokalsamfunnet slår aller svakest ut av de fem variablene vi har laget. De fire øvrige variablene som gir signifikante utslag er alle relatert til forberedelser til nasjonale prøver. Lærere som synes de bruker for mye tid på prøvene, mener de har noe lavere nytte av prøvene enn lærere som ikke opplever at det går med for mye tid. Også her kan sammenhengen gå begge veier. Lærere som synes de bruker for mye tid i forhold til andre oppgaver, kan synes at utbyttet ikke står i forhold til tidsbruken, mens lærere som ikke synes de har særlig nytte av prøvene ut fra dette kan mene at det har blitt brukt for mye tid. Når forberedelsene til prøvene er jevnt fordelt utover året, er lærerne mer tilfreds. Det samme gjelder når de lar elevene øve flere ganger i året og når de bruker sitt eget eller skolens øvingsmateriell. For utsagnet om jevn fordeling over året av forberedelsene kan det være rimelig å antyde en retning på sammenhengen ved at det vil virke mest naturlig å si at opplevd nytte av prøvene øker når forberedelsene er jevnt fordelt, og ikke omvendt. For de to siste spørsmålene kan vi like godt si at den opplevde nytten påvirker praksisen for forberedelser til prøvene 129

132 som at det er praksisen som påvirker den opplevde nytten. Sammenhengen kan dermed gå begge veier. I det kvalitative materialet skiller lærerutsagnene seg i tre. Det er et mindretall som mener at nasjonale prøver er et godt redskap for å finne ut hvor eleven er og hvordan han kan hjelpes videre, det flere er lærere som mener nasjonale prøver er et supplement, men at skolen har andre og vel så gode redskaper for å drive pedagogisk utviklingsarbeid, og det er noen få lærere som avviser at nasjonale prøver har noen nytte. Vi skal se litt nærmere på disse hovedposisjonene. Lærerne som er mest positive til nasjonale prøver, er de som i intervjuet gir uttrykk for at prøvene gir et godt og riktig bilde av elevenes ferdigheter, og de fremhever prøvenes pålitelighet og anvendelighet i møte med elevene. Her er særlig norsklærerne glade for det de mener er gode prøver, med tekster som evner å skille elevenes nivå. Flere lærere er nokså nøytrale i sin omtale av nasjonale prøver, og forteller at prøvene har funnet sin plass på skolen og i kollegiet hos dem, men at prøvene ikke tar særlig stor plass i skolehverdagen og i lærernes oppmerksomhet. Disse lærerne mener i hovedsak at de har andre verktøy som i større grad egner seg som kartleggingsverktøy, og berømmer disse andre verktøyene (som Carlsten-testen og LUS i lesing) 14 fordi de her får vite hvordan de skal arbeide videre med elevenes utfordringer. «På nasjonale prøver kan jeg se at en elev ligger lavt,» sier en lærer, «men grunnen til at han ligger lavt, den kan jeg se på Carlsten-testen isteden.» Igjen rettes kritikken av nasjonale prøver mot beskrivelsen av elevenes mestringsnivå og hva læreren kan få ut av dette: Når du får opp mestringsnivået, så er det ikke tilpasset den enkelte eleven. Det er jo bare helt generelle vendinger om hvor du er når du er på nivå 2 eller nivå 3 eller hvor du nå er. Og for to elever på nivå 4 kan det være helt forskjellige utfordringer. Derfor synes jeg ikke de regnearkene sier meg noe eller, de sier jo at er du på nivå 5, så er du jo kjempeflink, dette er bra. Men for de andre nivåene, så gjør det oss jo ikke noe klokere i hva elevene må satse mer på. Noen lærere forteller at de har forsøkt seg på de nye lærerveiledningene som kom høsten 2012, men at de ble for omfattende og at de selv opplevde at de hadde for lite tid. De ønsker seg kursing og at skolen deres prioriterte arbeidet med nasjonale prøver slik at de slapp å bruke fritid på å lære seg hvordan resultatene kan brukes. Flere kommuner har tilsynelatende et omfattende kartleggingsregime som skolene skal bruke i møte med elevene, og da blir nasjonale prøver opplevd som om ikke overflødig, så i alle fall bare en av flere kartleggingsprøver som skolene må gjennom. Lærerne som er misfornøyde med nasjonale prøver viser til at prøvene forteller «gammelt nytt», som ikke kan brukes til å måle kvaliteten på skolen eller på lærerne som har overtatt elevene. Disse lærerne etterspør også prøvenes egentlige eller rendyrkede hensikt, som de opplever å være et anliggende for skoleledelse og skoleeier, og ikke et redskap for lærerne. Flere lærere vi har snakket med, sier at det går med for mye tid til prøvene, og at særlig etterarbeidet går ut over lærernes øvrige innsats for undervisningen. Helt til slutt i lærersurveyen lagde vi et åpent kommentarfelt. Mange respondenter brukte dette feltet til å understreke poeng eller meninger som de hadde gitt utrykk for gjennom å svare på undersøkelsen. Vi skal gjengi noen få slike kommentarer i fulltekst som en avslutning på dette kapittelet: Jeg har fulgt med på debatten rundt nasjonale prøver, og jeg mener at disse i altfor liten grad tar hensyn til den generelle delen av Kunnskapsløftet. I tillegg er de en stor utfordring for svake elever og deres behov for mestring. 14 Carlsten-test: Se for eksempel Carlsten, C.T. (1998) Leseprøve 3. klasse. Oslo: Cappelen Damm. LUS-test («LeseUtviklingsSkjema»): Se for eksempel Allard, B., Rudquist, M. og Sundblad, B. (2009). Den nye LUS-boken. En bok om leseutvikling. Oslo: Cappelen Akademiske Forlag. 130

133 Synes nasjonale prøver strammer opp skolen. Innholdet i nasjonale prøver er viktig ferdigheter for elevene å mestre. Offentliggjøring i avis kan derimot skape en juksekultur. Dette bør det gjøres noe med. Jeg mener nasjonale prøver er viktig dersom de brukes. Da må det settes av tid til forarbeid og etterarbeid og hva vi kan gjøre med resultatene. Det var avgjørende for nytten av nasjonale prøver at de ble flyttet til 5.trinn. Første gang jeg var med var de lagt til 4.trinn, og da satt jeg med en mengde viktige opplysninger som gikk til spille da en annen lærer overtok på 5.trinn. 6.4 Oppsummering I dette kapittelet har vi sett at lærerne i høy grad står for den operasjonaliserte delen av skoleleders ansvar for forberedelse og gjennomføring av prøvene. I all hovedsak finner vi samsvar mellom skolelederes utsagn om hvordan prøvene blir forberedt og gjennomført (se kapittel5) og lærernes svar på hvordan arbeidet med prøvene foregår på skolene. Av spørreundersøkelsen til lærerne og intervjuer med lærere på seks skoler bekreftes det at elevene forberedes til prøvene, og at dette foregår i størst utstrekning på barneskoler. Lærerne understreker at de i hovedsak arbeider med å forberede elevene på prøveform og oppgavetyper, men at det ikke drilles ekstra på faglige tema som kan forbedre elevenes resultater. Mange lærere understreker at de arbeider jevnt med grunnleggende ferdigheter gjennom hele året. Samtidig viser materialet vårt at enkelte skoler bruker en del tid på å forberede elevene på prøvene, og at lærere opplever at prøvene får prege prioritering av tid til undervisning gjennom deler av høsten. I kapittel 5, som omhandler skoleledernivået, konkluderer vi med at fritaksreglene ser ut til å bli strengt praktisert kanskje for strengt i enkelte tilfeller. Materialet fra lærersurvey og lærerintervjuer bekrefter og utdyper dette inntrykket. Vårt inntrykk av materialet er at mange lærere ønsker å verne og beskytte svake elever mot nederlagsopplevelser, slik at de både mener at gjeldende regelverk bare ivaretar disse elevenes interesser i begrenset grad, at det er uklarhet om tilrettelegging for svake elever og at prøvene i seg selv ikke egner seg for elever som har spesielle behov i opplæringen. Vi mener altså at regelverket kanskje praktiseres for strengt på en del skoler, der elever som ikke burde hatt prøven, likevel blir satt til å gjennomføre den. Disse elevene har imidlertid ofte ikke lovhjemmel for å bli fritatt, med mindre de på forhånd har de påkrevde enkeltvedtak om enten spesialundervisning eller rett til særskilt opplæring i norsk for språklige minoriteter. Vårt materiale kan også tyde på at de svakeste elevene blir særskilt forberedt på prøvene. Dette gjør skolene for å kompensere for at elevene egentlig burde vært fritatt, og vi kan slik snakke om at systemet skaper en vridning eller en variasjon av lokal praksis. En del lærere rapporterer om tekniske problemer ved gjennomføring av elektroniske prøver lokalt. I noen tilfeller skyldes nok dette dårlig eller mangelfull oppfølging av skoleeiers ansvar for å sikre tilstrekkelige tekniske og menneskelige ressurser til at prøvene kan gjennomføres (se kapittel 4). Noen skoler har imidlertid laget systemer for å klargjøre datamaskinene for bruk, noe som tilsynelatende gjør at gjennomføringen glir lettere. Imidlertid opplever en del lærere små tekniske «glipp» og uregelmessigheter i gjennomføringen når prøvene skal avholdes på data. Møller og Ottesen (2010) understreker at skoler må ha tilstrekkelig informasjon og kompetanse for at kvalitetsvurderingssystemene skal fungere. Vi har sett at lærere generelt oppfatter alle typer informasjon om prøvene som viktig, og at et stort flertall av lærerne mener at informasjonen «i stor grad» eller «i noen grad» er tilstrekkelig for at de skal kunne administrere prøvene. Samtidig ser vi at lærerne er svært interessert i å bli informert om hvordan de kan bruke prøvenes resultater til å forbedre elevenes læringsarbeid. Av det kvalitative materialet ser vi imidlertid at flere lærere mener at de får for stort ansvar for selv å finne ut av hvordan prøvene skal forberedes, gjennomføres og brukes. 131

134 Dette, og andre spørsmål som berører bruken av resultatene, kan tyde på at enkelte skoleledere bør styrke innsatsen for å forankre prøvene i skoleorganisasjonen. Vi har også sett at flere lærere i intervju stiller et grunnleggende spørsmål om hva nasjonale prøver egentlig skal være. Det er ikke sikkert at dette kan besvares eller løses ved å utvide informasjonsmateriellet til lærerne. I større grad mener vi dette peker på den dobbeltstilling som lærerne havner i når de skal administrere og analysere nasjonale prøver nemlig at prøvene er laget for et annet formål enn hva lærerne blir fortalt at de skal bruke dem til (Skedsmo 2011). Dette kan bare i begrenset grad bøtes på ved å gi lærerne nye veiledninger. Mange av dem har slått fast for seg selv at prøvene skal gjennomføres, men de vet selv best hvordan de kan gi elevene tilpasset opplæring. Det fyldigste materialet i dette kapittelet forteller om oppfølgingen av elevenes resultater. Spørreundersøkelsen viser i hovedsak en «både/og»-holdning til spørsmål som hvorvidt det er interesse for prøvene på de enkelte skolene og om det blir lagt vekt på elevenes resultater fra prøvene i den videre undervisningen. Vi tolker dette som at skolene og lærerne i noen grad kan sies å ha gjort prøvene til en del av arbeids- og skolehverdagen, men det er til gjengjeld bare et mindretall av respondentene i undersøkelsen som sier seg «helt enig» i slike påstander. Svarene viser imidlertid at lærerne legger stor vekt på å formidle resultatene av prøvene til elevene. De kvalitative dataene viser samtidig at lærerne mener det er vanskelig å si noe substansielt til enkeltelever og deres foreldre om hva eleven kan gjøre for å forbedre sine resultater. Årsaken til dette er at mange lærere opplever beskrivelsene av mestringsnivåene som for generelle, og at det vil kreve en stor innsats av den enkelte lærer å «oversette» mestringsnivå til en spisset tilbakemelding til den enkelte elev. Derfor brukes også resultatene fra prøvene i mindre grad for å tilpasse elevenes undervisning. Lærerne som har deltatt i spørreundersøkelsen eller som har blitt intervjuet, er gjennomgående negative til at prøveresultater blir offentliggjort i media. Mange av dem begrunner dette med at rangering av skoler er et lettvint eller til og med misvisende mål på skolenes kvalitet, og at det er variabler som kan påvirke elevenes resultater som skolen ikke kan rå med. Imidlertid understreker også mange lærere at de er positive til prøvene i den grad de kan brukes til å utvikle læringsarbeidet på den enkelte skole. Lærerne skiller altså mellom prøvene som pedagogisk verktøy i utviklingen av skolen og prøvene som et politisk styringsverktøy med mulighet for sammenligning og rangering. Det førstnevnte møter større forståelse hos lærerne enn sistnevnte. Vi har også spurt lærerne om hvorvidt de mener at nasjonale prøver er et godt redskap for dem i arbeidet. Til dette svarer flertallet «både/og» og «litt enig», men det er flere barneskolelærere enn ungdomsskolelærere som er «litt enige» eller «helt enige» i denne påstanden. I en regresjonsanalyse kommer det frem at det først og fremst er lærere som opplever prøvene som nyttige, som også bruker resultatene aktivt i undervisningen. Lærere som synes det går for mye tid til prøvene, svarer også at de mener de har lavt utbytte av prøvene. Når forberedelsene til prøvene er jevnt fordelt ut over året, er også lærerne mer tilbøyelige til å svare at prøvene er et godt redskap. Dette kan også vise til i hvilken grad prøvene og arbeidet med grunnleggende ferdigheter er inkorporert og forankret i den lokale skoleorganisasjonen. Et inntrykk av materialet vårt kunne vært at lærerne mangler kompetanse til å nyttiggjøre seg av resultatene. Kjennskap til prøvene, slik de er beskrevet ved hjelp av dokumentmaterialet i kapittel 3, tyder mer på at lærerne har kompetanse til å utvikle elevenes læringsresultater, men at prøvene ikke oppfyller dette formålet i den grad lærerne kunne ønske seg. Slik fremtrer det en tydelig nivåforskjell i hvilken grad prøvene kan sies å ha «festet seg» i skolene, til tross for at inntrykket fra skoleledernivået (kapittel 5) tydet på at prøvene hadde funnet sin form. Materialet kan tyde på at slett ikke alle lærere ville stilt seg bak dette utsagnet. Dette kan også ha sammenheng med i hvilken grad skolen, forstått som skoleleder og lærerkollegiet, har lyktes i å gjøre de nasjonale prøvene til en integrert del av arbeidshverdagen. I dette kapittelet har vi sett flere eksempler på at lærere opplever seg som å være alene med resultatene. Vi har også sett at skoler har forsøkt å forbedre innsatsen etter særs dårlige resultater, men at dette fra lærernes synspunkt har tatt form av kortvarige og stressende «skippertak» uten varig effekt (Elstad 2009). 132

135 I hvilken grad fungerer nasjonale prøver som ansvarliggjøring av lærerne? Vi skal til slutt i dette kapittelet se nærmere på våre funn i lys av kategoriseringen til Garmannslund m.fl. (2008), som har undersøkt læreres reaksjoner på reformer i skolen. Vi finner tegn på at lærere oppfatter nasjonale prøver i tråd med hierarkisk ansvarliggjøring. I dette ligger det at lærere mener at prøvene vil føre til mer arbeid og at testene ikke er egnet til å måle deres innsats. Her blir nasjonale prøver bare en byråkratisk kontroll. I vårt materiale brukes disse begrunnelsene hos lærere som avviser at nasjonale prøver har noen verdi. Vi ser imidlertid sterkere tendenser til at lærere oppfatter prøvene i tråd med profesjonell ansvarlighet, det lærerkollegiet blir utøvere av en yrkesrolle og utveksler erfaringer som kan bidra til å utvikle skolen som et kollektiv. Samtidig har vi også sett lærere som ønsker seg en slik situasjon, men som av ulike grunner ikke opplever at skolen deres drives på denne måten. Vi har sett nokså få tendenser til at lærerne ser på prøvene som brukermedvirkning, selv om dette perspektivet i noen grad kan sies å være til stede på barneskolen med en høy andel elever med minoritetsspråklig bakgrunn som vi besøkte. Her har skoleledelse, lærere, skoleeier og FAU arbeidet sammen for å finne ut hva som kunne gjøres med skolens resultater, for høsten 2012 å oppnå plassering over landsgjennomsnittet i lesing. Av disse tre tilnærmingene synes at lærerne ser på prøvene med profesjonell ansvarlighet å være det mest realistiske målet for skoler og skoleeiere. Dette fordrer imidlertid at ikke bare skoleledere, men også lærerne ser på nasjonale som sine egne. Lærere som opplever at de ikke får noe ut av mestringsnivåene de blir presentert i veiledningsmateriellet, at de ikke har tid til eller kompetanse til å analysere elevenes resultater eller at de er alene om å streve med oppfølging av nasjonale prøver på skolen, er heller ikke tilbøyelige til å oppleve at prøvene gir dem et godt arbeidsredskap i hverdagen. At skolene er ansvarliggjort for nasjonale prøver (se kapittel 5), betyr dermed ikke det samme som at lærerne føler seg ansvarliggjort. Dette får konsekvenser for hvordan prøvene presenteres for elevene og hvordan prøveresultatene brukes i forbedring av elevenes læring. 133

136

137 7 Fra elevenes ståsted Det har det vært forsket lite på elevenes erfaringer med nasjonale prøver. Av kapittel 5 og 6 i denne rapporten har vi imidlertid sett at både skoleledere og lærere har oppfatninger om hvordan elevene har det før og under gjennomføringen av prøven. Slike opplysninger har vi i dette kapittelet bygd ut med observasjoner av gjennomføring av nasjonale prøver på 5. trinn og gruppeintervjuer med elever på 8. trinn. I tillegg har vi gjennomført intervjuer og samlet informasjon via e-post-enquête fra et utvalg foresatte for å få mer informasjon om elevenes erfaringer med prøvene. Kapittelet bygger i sin helhet på kvalitativt intervju- og observasjonsmateriale fra de seks skolene (tre barneskoler og tre ungdomsskoler) som vi besøkte i forbindelse med vår evaluering. Hovedpunkter i kapittel 7 Kvalitative delfunn Elever på 8. trinn sier at prøvene ikke måler dem som individer, men at prøvene måler nivået på trinnet, skolen eller lærerens ferdigheter og egenskaper. Når prøven ikke måler elevene som individer, er det ifølge elevene heller ikke nødvendig å forberede seg eller grue seg. Dette kan imidlertid gjøre elevene dårlig motiverte for prøven. Avslutningen av prøvene er preget av løs struktur. Elever kan få drive med «pauseaktiviteter» som er mer fristende enn å jobbe med prøven. Elever på ungdomstrinnet etterlyser klarere tilbakemeldinger om hva de kan jobbe mer med når resultatene fra prøvene foreligger. Lærerne synes prøvene er dårlig egnet til dette formålet. Hovedfunn i kapittel 7 Måten lærere omtaler prøven på, kan ha betydning for elevenes opplevelse av prøven. Hvis lærere er bekymret, kan elever grue seg til prøven. Hvis lærere mener at prøven har liten verdi for elevenes videre læring, kan elevene miste motivasjon for å prestere godt på prøven. Det legges mer arbeid i forberedelsen av prøvene på barneskolene enn på ungdomsskolene. 135

138 7.1 Før gjennomføring av prøvene I kapittel 5 beskrev vi skoleleders ansvar for å vurdere elever med forutgående enkeltvedtak om spesialundervisning og/eller rett til særskilt språkopplæring for fritak fra nasjonale prøver. Vurderingen skal skje i samråd med lærerne og elevens foreldre. I kapittel 6 drøftet vi lærernes ansvar delegert fra skoleleder i å forberede elevene til prøvene. Dette handler om at lærerne skal kjenne innholdet i veiledningene og eksempeloppgavene på Utdanningsdirektoratets nettsider, og stå for kontakten med elevenes foresatte. I lærerveiledningene (se kapittel 3) fremheves det at eleven må forstå hva som er forventet av dem og få råd om hvordan de skal forberede seg Elever på 5. trinn øver til prøvene Som vi også så i kapittel 5, legger særlig barneskolelederne vekt på at elevene må forberedes godt med tanke på hva prøvene er og hvordan det er å gjennomføre dem, slik at elevene skal kunne kjenne seg trygge og yte sitt beste. En av barneskolene vi besøkte starter med slike forberedelser på våren på 4. trinn, mens de to øvrige barneskolene i det kvalitative utvalget vårt venter til høsten på 5. trinn med å introdusere formkravene og oppgavetypene i nasjonale prøver for elevene. Skolen som starter forberedelsene på våren på 4. trinn, arbeider også med avgangselevene våren på 7. trinn for å forberede dem til nasjonale prøver den første høsten på ungdomsskolen. Disse skolelederne kunne ikke si med nøyaktighet hvor lang tid slike forberedelser tar, men viste til at øvingen så langt som mulig blir lagt til de ordinære undervisningstimene i norsk, matematikk og engelsk. «Samtidig forsøker vi å hindre at de nasjonale prøvene blir den største begivenheten på høsten,» sa en av dem, «for det er jo kompetansemålene vi jobber med hele tiden. Derfor vil vi ikke at situasjonen skal hausses opp.» I likhet med skolelederne understreker mellomtrinnslærerne betydningen av å forberede elevene på prøvene og på den måten trygge dem i prøvesituasjonen. Alle disse lærerne bekrefter i intervju at elevene får øve på selve prøvesituasjonen, der det å sitte stille og arbeide i den tiden en prøve vanligvis tar, blir vektlagt. Her bekrefter også mange av lærerne at det går en del tid med til nasjonale prøver på høsten i 5. klasse, men at disse timene i hovedsak tas fra norsk, matematikk og engelsk. Elevene får forsøke seg på gamle prøver, og de skal øve seg på å sitte stille i inntil 90 minutter. Videre skal elevene få øve seg på data, de skal vite på forhånd hvor de skal sitte under den virkelige prøven og hva som skjer når de er ferdige med oppgavene. Ingen av de intervjuede lærerne vil kalle disse forberedelsene for drilling. Som en av dem sa: Det man gjør på tre uker på 5. trinn altså, hvis elevene ikke allerede kan tolke informasjon i en tekst, så klarer de ikke det på de tre ukene selv om jeg hadde lest all verdens tekster opp for dem. Så jeg tenker at man forbereder seg under hele skoleløpet når det gjelder leseopplæring. En annen lærer uttrykker dette slik: Jeg har brukt av matematikktimene til å forberede regneprøven. Det handler jo om mye av det samme. ( ) I høst har vi jobbet med tallforståelse, som ligger til pensum. Det har vi planlagt å jobbe med, uavhengig av nasjonale prøver. Vel, det henger jo i hop. Men hvis jeg skulle øvd direkte mot nasjonale prøver, så ville jeg kanskje ha lagt enda større vekt på problemløsningsoppgaver og slikt, for å spisse arbeidet inn mot prøvene. Det har jeg ikke valgt å gjøre. Lærerne sier i intervju at elevene har hatt mange spørsmål før prøvene, men at innsats for å trygge elevene ved å forberede dem til prøvesituasjonen ser ut til å ha gjort elevene mer avslappet i alle fall etter hvert som prøvene har blitt avviklet en etter en i løpet av høsten. Forventningene til prøvene følger elevenes mestringsnivå som ellers i opplæringen, sier en lærer, på den måten at de flinkeste ser frem til en utfordring, midtsjiktet av elever er delt mens de svakeste elevene gruer seg. En av lærerne reflekterer rundt forberedelsene og dette at elever kan grue seg på følgende måte: «Jeg tror det handler mye om hvordan vi voksne er i alle situasjoner, egentlig. Hvis vi er oppkavet og nervøse 136

139 for nasjonale prøver, kan det hende at det smitter over til elevene.» Gjennom dette bekrefter læreren at elever kan grue seg til nasjonale prøver, men at måten lærerne snakker om prøven på både sammen med elevene og i kollegiet, også kan ha betydning for elevenes relative opplevelse av alvor og utfordring i prøvesituasjonen. Med Elstad (2009) kan vi si at skoler som blir utsatt for press eller som blir overrasket over dårlige resultater, kan reagere med å snakke om og forberede prøvene på måter som indirekte legger press på elevene. Som Elstad skriver, avhenger dette likevel av hva slags strategier skolen velger for å forbedre svake resultater på nasjonale prøver. De foresatte som ble intervjuet om erfaringene med 5. trinnselever og nasjonale prøver, har selv et avslappet forhold til prøvene fordi de opplever at skolene har gjort en god innsats for å gjøre elevene trygge og forberede dem på prøvesituasjonen. Dette mener de foresatte gjenspeiles i elevenes holdninger til prøvene «det blir som en del av den vanlige skoledagen,» sier en av dem. «Jeg tror lærerne bruker mye tid på å ufarliggjøre det,» sier en annen foresatt på samme skole, og legger til: «[Elevene] skjønner nok alvoret, men mitt barn tenker ikke på at hun blir målt på noen måte.» Gjennom intervjuene med denne gruppen foresatte blir det likevel klart at elever kan se på prøven som utfordrende: [Eleven] fikk høre at prøven skulle vare i en og en halv time, og det førte til en bekymring for at det kunne være veldig mange oppgaver. Hvis man regner kjapt i hodet, så er det enormt mye som skal gjøres på en og en halv time. Så hun ble litt redd for at mengden oppgaver ikke skulle passe til henne, fordi hun har litt prøveskrekk. Og det å skulle svare på tid og sånn, det kan stresse henne. Så store matteprøver hadde de heller ikke hatt før. Så jeg tror det var mengden som uten at hun hadde sett den, da det trengte ikke være så veldig mange oppgaver, egentlig, men hun var redd for at det kom til å bli veldig mye. På den ene barneskolen har de foresatte selv fått tilbud om å forsøke seg på en gammel nasjonal prøve for 5. trinn som en del av skolens informasjonsmøte om prøvene. De foresatte som vi intervjuet, hadde tatt imot dette tilbudet. «Jeg må si at jeg syntes det var vanskelig,» sier en av dem. «Og barna mine er nervøse. De snakker mye om dette, og lurer på om oppgavene kommer til å være lettere eller vanskeligere enn oppgavene de ellers har fått prøve seg på.» Samtidig mener denne forelderen at barnas opptatthet av prøvene også handler om spenning og et ønske om å gjøre det bra, noe hun bifaller. Barnas bekymring over prøvene var ellers mer present i de tilbakemeldingene vi fikk via e-post fra foresatte, selv om dette inntrykket ikke er enerådende. Dette kan likevel tyde på at vi via e-postenquête fikk kontakt med foresatte hvis barn ikke nødvendigvis klarer seg så godt på skolen. «Min datter har sagt at nasjonale prøver er vanskelige og det er mye styr rundt disse prøvene,» skriver en av de foresatte i e-post. En annen gjør rede for hvordan datteren gruet seg på forhånd, til tross for at denne forelderen mener at lærerne gjorde en god innsats for å fortelle elevene om at dette ikke handler om hva barna kan, men hva lærerne trenger for å gjøre en bedre jobb. Når barneskolelederne vi har intervjuet forteller om innsatsen for å forberede de yngste elevene på prøvene og selve prøvesituasjonen, viser enkelte av dem også til den strenge praktiseringen av fritaksreglene som alle skolene i det kvalitative utvalget vårt driver. Dette har vi utdypet nærmere i kapittel 5. Når elever som vanligvis presterer svakt skal gjennomføre nasjonale prøver, kan dette øke behovet for å forberede og trygge disse elevene i prøvesituasjonen. På en av barneskolene vi fikk besøke uttrykte likevel lærerne frustrasjon over det de mener er et uklart regelverk som gjelder muligheten for å frita elever som har lærevansker. Vi intervjuet lærerne samme dag som regneprøven var gjennomført, og en av dem forteller om hvordan hun måtte hjelpe en dyslektiker ved å lese oppgavene for ham under prøven (dette er tillatt ifølge Retningslinjene): Han som jeg satt og leste for i dag, han mister alt mot og selvtillit. For å si det rett ut, så mener jeg at han ikke har godt av å gjennomføre det, men jeg så heller ikke hvordan vi kan frita ham fra det. Jeg tror dette er vanskelig for selvtilliten hans, men han gjennomførte. Slik vi har kommentert i kapittel 5, kan skolers generelle innsats for å redusere antall elever med spesialundervisning komme i direkte konflikt med behovet for å skjerme enkelte svake elever fra 137

140 krevende prøvesituasjoner hvor vedkommende kanskje ikke kan få vist hva han eller hun faktisk kan, eller kan oppleve mestring. Hvis elever ikke har forutgående vedtak om spesialundervisning eller rett til særskilt språkopplæring for språklige minoriteter, kan de heller ikke vurderes for fritak fra nasjonale prøver. Barneskolen med overvekt av elever med minoritetsspråklig bakgrunn var også kjennetegnet av en streng fritakspraksis. «[Men] skulle vi tatt ut dem som har rett til særskilt opplæring i norsk, hadde vi sittet igjen med nesten ingen elever i hver klasse,» som en av lærerne uttrykker det i intervju. Samtidig sier denne læreren og kollegene hennes at skolen står samlet om hvordan regelverket praktiseres. «Vanligvis ville jeg tenkt at det er litt heftig å ta dem med,» sier en av dem, «men de har lært så fort og de har skjønt så mye, så vi fant ut at det ville være interessant å se hva de får til.» Disse lærerne roser leseprøven fra 2012 fordi den ikke så ut til å marginalisere elever med minoritetsspråklig bakgrunn i nevneverdig grad i valg av tekster og begreper. De beskriver mange av elevene sine som teknisk gode lesere, men viser til hvordan manglende begrepsforståelse kan hindre slike elever i å oppnå gode resultater Elever på 8. trinn: prøvene måler ikke oss Da vi intervjuet små grupper (3-4 personer) av elever på 8. trinn, spurte vi dem først hva de forsto med begrepet «nasjonale prøver». 15 Alle elevene vi snakket med mente å vite hva slike prøver var, og svarer at dette er prøver som gjelder hele landet. De mener også at disse prøvene er forskjellige fra andre typer prøver. Da vi spurte på hvilke måter nasjonale prøver skiller seg ut, var elevene enige seg imellom om at nasjonale prøver ikke er en prøve som måler dem som enkeltindivider, men som derimot måler skolen eller «hvor gode lærerne er til å lære oss,» som en av dem sier. Elevene ble ikke forelagt noen svaralternativer i intervjuet, slik at denne holdningen og oppfatningen av prøvene synes present og konsistent på alle de tre ungdomsskolene vi fikk besøke. Vi skal se nærmere på noen av elevutsagnene om hva nasjonale prøver er og hva de innebærer: Nasjonale prøver måler en klasse eller et trinn så de [skolen?] kan se hva elevene kan og hva som må jobbes videre med. Når vi for eksempel kommer fra [navn på en barneskole] og så tok prøven etter det, så var det jo på en måte barneskolen og hva de hadde lært oss der som ble målt. Så da handler det jo ikke om oss det handler om hva vi har lært. Når det er en hel klasse som måles, så er det jo på en måte lærerne de måler. Om læreren har gjort en god jobb. Egentlig tester de jo skolen og landet og sånne ting, så det spiler egentlig ikke så stor rolle jeg mener, det betyr ikke så mye om du har bra resultater, bare at læreren finner ut hva du må lære mer om eller hva du kan gjøre bedre. Gjennom slike utsagn mener vi at elevene forstår det som at nasjonale prøver gjelder trinnet eller også skolen som et kollektiv, mens de mener at «vanlige» prøver tester individet. Slike «vanlige» prøver handler om at du skal vise hva du har lært i en time eller etter å ha lest et kapittel, sier en elev, mens nasjonale prøver «tester hele året.» Dette gjenspeiler prøvenes funksjon som styringsverktøy eller også som et pedagogisk kartleggingsverktøy, slik det er formidlet til elevene gjennom lærerne. Når elever forteller om hva som skiller nasjonale prøver fra «vanlige» prøver, er det opptatt av at de ikke får karakterer på nasjonale prøver, og at disse prøvene etter elevenes utsagn heller ikke vil få noen innvirkning på elevenes karakterer videre. Karakterer og målinger av individuelle ferdigheter er ellers noe de synes å være opptatt av når de snakker om skolehverdagen sin i intervjuet, noe som underbygges av at de nettopp har startet på ungdomstrinnet og at vurdering med reelle karakterer er nytt for dem denne høsten. Karakterer kan være forbundet med stress, mener flere elever. At det ikke gis karakterer på nasjonale prøver, setter disse elevene i direkte forbindelse med at prøvene ikke 15 Spørsmålet var formulert som «Vi snakker om nasjonale prøver. Er dette et ord dere kjenner? Er det ord som læreren bruker når han eller hun snakker med dere? Hva snakker læreren om da?» 138

141 måler dem som enkeltindivider, men er en slags kartleggingsprøve som skal avdekke et forbedringspotensial. «Derfor tror jeg egentlig [de nasjonale] prøvene er mest for å måle det du ikke kan, så du kan bli bedre,» sier en elev. Dette peker også mot elevenes forventninger til bruken av resultatene fra prøvene, som vi skal komme tilbake til senere i dette kapittelet. Fraværet av karakterer får ifølge elevene også konsekvenser for hvordan de forbereder seg til prøvene og hvordan de har det før prøvene skal gjennomføres. «Det er jo ikke noe stress med forberedelser, for det er jo ikke karakter,» sier en elev. «De sa det ikke betydde veldig mye sånn for oss selv,» sier en annen, «så da er det jo egentlig heller ikke noe å øve på.» En annen elev uttrykker dette slik: «Vi pleier ikke å øve, og prøvene kommer jo nesten med en gang skoleåret har startet. Det er fordi det ikke skal settes noen karakter, det er bare fordi de skal se hva man trenger hjelp med.» Likevel rapporterer alle elevene på 8. trinn som vi har snakket med at de har vært gjennom en eller annen form for forberedelse til prøvene. For de fleste av dem handler dette om at de har blitt vist en gammel prøve for at de skal kjenne til hvordan den ser ut og hva slags oppgaver det kan være snakk om. Elevene har også fått mulighet til å øve seg på gamle prøver hjemme, men blant elevene vi snakket med var det flere som ikke hadde fulgt opp dette hjemmearbeidet. Vi spurte også elevene om det hadde blitt satset noe ekstra på trening i lesing, regning eller engelsk i tiden før prøve. Svarene på disse spørsmålene var ikke entydige, og det er uansett vanskelig å skille slik trening fra det ordinære læringsarbeidet som vi må forvente har foregått i matematikk-, engelsk- og norsktimer gjennom høstsemesteret. På en skole som vi besøkte mente elevene at de har brukt noen timer fra faget utdanningsvalg til å trene på prøvene. Det kvalitative materialet vårt kan ikke brukes til å si noe om hvorvidt slike timer har blitt tatt igjen siden, eller om de er omdisponert av skolen for å forberede nasjonale prøver. Alt i alt tyder utsagnene i elevintervjuene på at elevene blir gjort kjent med prøvene i skoletiden, men at det ikke øves noe særlig ekstra i tiden før prøvene skal gjennomføres. Et fellestrekk ved intervjuene med skoleledere så vel som med lærere på ungdomstrinnet er at de gir færre tilbakemeldinger om elevenes møte med prøvene og prøvesituasjonen enn hva deres kolleger på mellomtrinnet gjør. Dette kan i noen grad forklares med at vi besøkte ungdomsskolene først etter at alle prøvene var gjennomført, mens vi intervjuet mellomtrinnslærerne og skolelederne deres samme dag som elevene hadde hatt enten prøven i regning eller i lesing. Da var disse lærernes inntrykk fra prøvene også ferskere. Samtidig kan dette også være en indikasjon på at prøvene betyr noe annet for ungdomsskoler og sammenlignet med barneskoler. Skolelederne og lærerne på ungdomsskolene omtaler nasjonale prøver primært som en testing eller en screening av elevene når de kommer fra barneskolen, og sekundært som et redskap for å stake ut kursen videre for de samme elevene på ungdomsskolen. I realiteten vil dette si at ungdomsskolene vi besøkte ser på prøvene som et kartleggingsverktøy for å tilpasse undervisningen til elever som har behov for det, men lærerne kan ikke bruke resultatene til å vurdere kvaliteten på egen undervisning. Ettersom elevene på 8. trinn har vært på ungdomsskolen bare i noen få uker når prøvene avholdes, kjenner verken lærerne eller ledelsen elevene særlig godt. Skolene forbereder elevene på prøvesituasjonen og lar dem få trene på oppgavene, men vårt inntrykk fra intervjumaterialet er at dette skjer i langt mindre omfang på ungdomsskolene enn på barneskolene. Dette underbygger funnet fra spørreundersøkelsen blant lærerne (se kapittel 6), der det fremkommer at øving til prøvene er mindre gjennomgående på ungdomstrinnet enn på mellomtrinnet. 7.2 Gjennomføring av prøvene I kapittel 6 drøftet vi hvordan lærerne involveres gjennom skoleledernes ansvar for å ha testet skolens datamaskiner og nettverk, samt å ha informert elever og foresatte om gjennomføringen. I det følgende skal vi se nærmere på hvordan prøver i lesing og regning forløp i til sammen seks grupper av 5. klassinger fordelt på tre barneskoler, og vi skal gjennom intervju med elever på 8. trinn få mer informasjon om hvordan disse elevene opplevde prøvene høsten Disse opplysningene blir i det følgende fylt ut med data fra intervjuer med skoleledere, lærere og foresatte. 139

142 7.2.1 Elever på 5. trinn Klasseromsløsninger, bruk av data og elevens spørsmål før prøven Skolene som vi har besøkt, har vært kjennetegnet av å ha blitt bygget i ulike tidsperioder og med ulike klasseromsløsninger. Hovedbygningen på den ene barneskolen ble etablert så langt tilbake som i mellomkrigstiden. Her gjennomførte elevene den digitale prøven i regning på datamaskiner som var plassert på biblioteket i skolens kjeller. Antallet maskiner tilsa at elevene måtte deles i tre grupper som tok prøven suksessivt over til sammen to dager. På biblioteket var to store arbeidsstasjoner organisert som «øyer» i lokalet, med plass til seks elever på hver «øy». Fem eller seks maskiner var i tillegg plassert langs den ene veggen. Datamaskinene på «øyene» var plassert slik at elevene ikke kunne se de andres arbeid, mens maskinene langs veggen ga større mulighet for at elever kunne kikke på hverandre. På den andre skolen hvor vi fikk være til stede under regneprøven, var det bare en klasse på 5. trinn. På denne skolen, som var nesten helt ny, var rommene imidlertid så små at elevene likevel måtte deles på to rom da de skulle ha prøven skolens datarom og det tilstøtende biblioteket som hadde permanente arbeidsstasjoner med pc-er. På denne måten kunne likevel alle elevene ta prøven samtidig. Den nasjonale prøven i lesing foregår på papir, og stiller ikke de samme kravene til utstyr som de digitale prøvene gjør. På skolen hvor vi fikk observere leseprøven, var det to paralleller på 5. trinn. Den ene klassen brukte det vanlige klasserommet under prøven, hvor pultene var stilt opp som til eksamen, det vil si en og en pult med god plass rundt. Den andre klassen brukte skolens musikkrom. Her satt elevene to og to ved store arbeidsbord, plassert slik at de ikke kunne kikke på den andres arbeid. Med denne romfordelingen kunne de to parallellklassene ta prøven samtidig. På alle tre skoler var oppstarten av prøven preget av ro og det vi tolket som en viss grad av spent alvor fra elevenes side. Alvoret kan naturligvis også ha skyldtes at elevene visste at det skulle være en observatør til stede under prøven. Lærere på samtlige av disse skolene har i intervju bekreftet at elevene hadde fått øve på selve prøvesituasjonen, der det å sitte stille og arbeide i den tiden en prøve vanligvis tar, ble vektlagt. Vi oppfattet det derfor som at elevene var forberedt på hva som skulle skje. På to av skolene møtte elevene direkte frem i rommet hvor prøven skulle foregå, mens på den siste skolen møtte elevene i det vanlige klasserommet før de gikk til pc-rommet sammen med lærer. Elevene visste enten fra øvingen på forhånd hvor de skulle sitte, eller hver elev ble tilvist plass ved pcstasjonene, som var startet opp og klargjort av skolens personale på forhånd. På den ene skolen var det lagt frem ark på datamaskinene som viste hver elevs navn og innloggingsdata. På den andre skolen delte ordenselevene ut ark med elevenes innloggingsdata mens elevene satt ved arbeidsplassene sine i klasserommet. Her fikk elevene ekstra forsikringer om at dataproblemene som hadde oppstått under engelskprøven to uker tidligere, ikke ville skje på nytt. 16 På begge skolene gikk elevenes innlogging og oppstart av regneprøven uten tekniske problemer. På en av de tre skolene i utvalget vårt var det en elev som kom for sent til prøven. Denne eleven ble ikke tatt imot i klasserommet, ettersom læreren fikk beskjed om forsentkommingen pr. sms. Læreren fortalte siden i intervju at denne eleven kom til å ta prøven ved en senere anledning. Vi noterte hva lærerne sa til elevene og hva elevene spurte læreren om før prøven startet. Generelt handlet lærernes innledninger om prøvens formkrav, det vil si hvor lenge prøven skulle vare, hvilke regler som ville gjelde for oppførsel under prøven (ikke småprate med andre, avtale tegn hvis elever må på toalettet, hva slags utstyr som kunne ligge fremme, at lærer kan forklare ord som elevene lurer på, men ikke gi eleven svaret på oppgaven etc.) og hvordan arbeidsøkta skulle avsluttes. Flere lærere snakket om hvordan prøven så ut, det vil si omtrentlig antall oppgaver, eller hva de selv hadde tenkt da de hadde fått se på prøven som at tekstene var spennende eller morsomme. Mange av dem minnet om at oppgavene nok ville oppleves som både lette og vanskelige, og understreket at det viktigste var å ta seg tid og at det helt sikkert ville være nok tid til å bli ferdig. Derfor, poengterte 16 Ved dette tilfellet hadde skolens ledelse opprinnelig hentet ut feil passord slik at elevenes innlogging ble forsinket med om lag 15 minutter. 140

143 lærerne, var det svært viktig at elevene gikk gjennom oppgavene en siste gang før de avsluttet og leverte. Alle elever ble bedt om å lese oppgavene ekstra nøye, særlig for å sikre seg mot at de hadde oversett oppgaver. Elevene ble også minnet om mulighetene til å gå frem og tilbake mellom oppgavene, dersom noe fremsto som uklart for dem underveis. Noen av lærerne ba elevene bruke eliminasjonsmetoden dersom de likevel sto fast, eller, som siste mulighet: å gjette svaret. Flere lærere la vekt på å dempe det eventuelle presset som elevene måtte oppleve som følge av at prøven foregår på tid og at elevene ikke får spørre om hjelp underveis. Her er noen eksempler på ting som ble sagt for å berolige elevene: Det er nesten garantert at alle kommer til å rekke det, så ikke tenk jeg klarer det ikke, jeg klarer det ikke, jeg klarer det ikke. Gjør så godt du kan tegn problemet hvis du lurer bruk kladdearkene. Kommer du til spørsmål du ikke får til, så hopp over og gå til neste. Du kan alltid gå tilbake i prøven etterpå. Hjernen jobber også uten at vi tenker på det, så iblant kan det lønne seg å gå tilbake. Da klarer man å løse den oppgaven. Husk å senke skuldrene, ta det med ro dette går bra. Hva skal dere gjøre nå? Gjøre deres beste. «De ser alvoret i det, samtidig som jeg opplever at de stort sett er avslappet,» sier en lærer i intervju etter at prøven er gjennomført. «Noen elever er bekymret,» sier en annen lærer, «men jeg har prøvd å fremheve at det eneste interessante med denne prøven er at jeg skal få vite hva jeg skal lære dem videre i 5. klasse. Men samtidig har vi jo jobbet med å øve til nasjonale prøver, så de skjønner jo at det er noe viktig.» Noen klasser hadde flere spørsmål til læreren før prøven begynte, mens i andre klasser forholdt elevene seg helt tause. Elevene som stilte spørsmål før prøven, lurte blant annet på om de ville få samme tekster som de hadde jobbet med før, de ville vite hvor mange oppgaver det var, om de måtte skynde seg og om de kunne ta pauser underveis. Videre var det elever som på forhånd spurte om de kunne be læreren om hjelp hvis de ikke skjønte oppgaver og om de kunne få se prøven etter at den var rettet. Det var også elever som lurte på hva som skjedde dersom de ikke rakk gjennom alle oppgavene. Lærerne vi fulgte ga inntrykk av å ha god oversikt over retningslinjene ved oppstarten av prøven, og elevene virket tilfreds med svarene som lærerne kunne gi på disse spørsmålene. Da det ikke var flere spørsmål eller alle elevene hadde falt til ro, foretok læreren en formell oppstart av prøven ved å be elevene logge inn (regning) eller åpne oppgaveheftet (lesing). I klasserommene hvor vi var til stede, tok det mellom ti og ca. 30 minutter fra elevene kom inn etter friminutt og frem til prøven formelt ble startet. Denne tiden ble lagt til de 90 minuttene som er tidsrammen for leseprøven og regneprøven. I en av klassene startet læreren et nedtellingsur som var synlig for elevene mens de satt og arbeidet. Konsentrert jobbing, men noen elever er urolige eller trenger tilrettelegging I all hovedsak var det stille i klasserommene og god arbeidsro under prøvene vi overvar, selv om enkelte elever ikke klarte å unngå småprat seg imellom også etter at prøven hadde startet. I noen klasser var det mange elever som viste tegn til at de ønsket å snakke med læreren mens prøven pågikk, i andre klasserom satt læreren stort sett i ro. I klassene der forholdsvis mange elever ga tegn til læreren, forsto vi av de dempede samtalene at elevene ønsket hjelp til å forstå oppgaven eller ville vite hva de skulle svare. Læreren avviste disse spørsmålene, eventuelt ved å si at eleven fikk skrive det han selv trodde var riktig. Enkelte 5. trinnselever viste tegn til uro eller kjedsomhet da det hadde gått mellom 40 og 50 minutter av prøven. Som observatører antok vi at dette var elever som enten mente seg ferdige, eller som kanskje ikke hadde fått til så veldig mye. Disse elevene kunne prøve å få kontakt med sidemannen, strakte på seg, gjespet overdrevent, sukket høyt, sprellet litt med beina eller vred seg på stolen og 141

144 viste generelle tegn til å ville røre på seg. Dette påkalte oppmerksomhet fra læreren, hvor en av dem i et senere intervju fortalte at hun ble urolig for at elevene skulle forstyrre de andre i arbeidet. Vi så lærerne bruke svært ulike strategier for å motvirke at slik uro skulle spre seg. I en klasse fikk elevene beskjed om at de kunne ta frem stillelesingsboka si når de var ferdige med prøven. I en annen klasse fikk elevene utdelt et blankt ark sammen med leseprøven. På dette arket skulle elevene skrive brev til læreren etter at de mente seg ferdige med prøven, men før læreren lot elevene gå gjennom oppgavene en siste gang og aksepterte prøven som avsluttet og innlevert. Elevene fikk vite at brevet som var en sjanger de også hadde jobbet med i de ordinære norsktimene kunne handle om hvordan det gikk med prøven, hva de syntes om oppgavene, om det var vanskelige oppgaver og om de syntes at de hadde hatt nok tid. Elevene kunne også tegne på arket. Brevet skulle merkes med elevens navn og leveres inn sammen med prøven. Denne læreren fortalte siden i intervju at hun selv hadde tenkt ut denne oppgaven, og at hun håpet at brevene kunne gi henne nyttig informasjon om hvordan elevene opplevde prøvesituasjonen. 17 På en av de andre skolene hadde læreren en bunke tegneserieblader tilgjengelig. Elevene hadde ikke på forhånd fått se at læreren hadde disse bladene, men hvis en elev viste tegn til å ville legge arbeidet til side eller sa til læreren at han var tidlig ferdig, ga læreren ham et tegneserieblad og ba eleven om å ta en pause mens han fremdeles satt på plassen sin. Mot slutten av tiden som elevene hadde til rådighet under prøven, satt de fleste av elevene derfor og leste i tegneserier mens de fremdeles hadde prøven åpen og uavsluttet på skjermen foran seg. Da elevene fikk beskjed om at prøven kunne avsluttes og leveres, samlet læreren inn bladene og ba elevene gå gjennom oppgavene en siste gang. Alle lærerintervjuene på barneskolene ble foretatt samme dag som elevene hadde hatt en av de nasjonale prøvene. Derfor er intervjuene rike på lærernes ferske inntrykk og synspunkter på elevenes innsats og hvordan elevene har hatt det i prøvesituasjonen. Et eksempel på et slikt ferskt inntrykk hos lærerne er deres oppfatninger av prøvenes tidsramme og elevenes tidsbruk. På to av barneskolene vi besøkte, var lærerne samstemte om at 90 minutter er altfor lenge å sitte stille for barn på ti år, og flere mente at også 60 minutter (engelskprøven) er i overkant for disse elevene. Noen lærere sier at de ser det som nødvendig at 5. trinnselevene får ta seg en liten pause underveis i prøven mens de sitter på pulten, fordi de blir slitne. Det var delvis til dette formålet lærerne hentet frem ekstra lesestoff eller ba elevene om å tegne litt, samtidig som disse aktivitetene også ble brukt for å holde elevene i klasserommet etter at prøven var ferdig. Flere av lærerne merker seg at elever kan bli fort ferdige, samtidig som prøvene som ble levert tidlig hadde åpenbare slurvefeil. Lærerne spør seg selv og hverandre under gruppeintervjuet om dette kan handle om at elevene var stresset. Enkelte mellomtrinnslærere spør også om dette kan skyldes de digitale prøvenes form, hvor elever velger i «multiple choice» på en skjerm. Da er det lett å henfalle til gjetting, mener flere av lærerne. På den andre siden er det lærere i utvalget vårt som hadde erfart at elever satt samvittighetsfullt og jobbet med oppgavene i lang tid også på data. Barneskolelederne som vi intervjuet, har hovedsakelig inntrykk av at elevene klarer seg godt i prøvesituasjonen. Noen grupper av elever synes likevel utsatt, som for eksempel elever med dysleksi. Som observatører fikk vi se hvordan skolene tilrettela prøvene for elever som har lese- og skrivevansker, men som får ta prøven sammen med de andre elevene. Lærere og skoleledere fortalte i intervju også om elever som hadde så store konsentrasjonsvansker at det ble lagt til rette for at de fikk ta prøven i enerom med en assistent til stede, men slike situasjoner har vi naturlig nok ikke kunnet observere direkte. På den ene av skolene hvor vi overvar regneprøven, var det to lærere til stede i rommet sammen med klassen. En av dem satt sammen med en elev for å bistå med å lese oppgavene hvis nødvendig. På den andre skolen som hadde regneprøve kunne elevene som hadde lese- og skrivevansker kalle læreren ned til plassen sin dersom de trengte hjelp til å forstå enkeltord eller å få lest opp tekst i oppgavene. Læreren bisto disse elevene syv-åtte ganger i løpet av prøven. 17 Vi vet ikke hvor mange av elevene som valgte å skrive brev eller hva de skrev, ettersom det måtte ha vært avtalt med elevene på forhånd hvis andre enn læreren skulle lese brevet. 142

145 På den ene barneskolen vi besøkte, var både skoleleder og lærere særlig opptatt av hva slags tilrettelegging som kunne gjøre prøvesituasjonen bedre for elever med lærings- eller konsentrasjonsvansker, som skolen ikke hadde sett mulighet for å frita fra prøven. Ifølge denne skolelederen hadde læreren forberedt disse elevene godt på årets leseprøve, på den måten at elevene på forhånd var kjent med hvordan prøveformen var og at de forsto at de ikke kom til å klare alt. «Men i engelsk var det tre elever som knakk sammen,» fortsetter denne skolelederen: Det er klart at de leser så dårlig på norsk at de ikke klarer å lese på engelsk heller. Dem hadde jeg vondt av. Da var det til slutt sånn at når de så den store teksten, så skjønte de ikke at det var den samme teksten de leste engang. Så bare ga de opp. Og en satt og gråt. Det syntes jeg det syntes jeg var fælt, fordi vi er jo opptatt av at de skal mestre. Vi spurte denne skolelederen hva man kan gjøre under prøvene eller i ettertid for å lette situasjonen for slike elever. Skolelederen svarte: Vi snakket om det med de elevene det gjaldt og sa at vi forstår at dette er vanskelig for deg, og ser at dette får du ikke helt til, men prøv så godt du kan, gå gjennom oppgavene, svar det du mener er riktig. Og lærerne ser jo på det etterpå og diskuterer med dem, da, de gjør jo det. Nei, jeg vet ikke. Hva kan man gjøre? Annet enn å trøste dem, tenker jeg? En lærer som hadde vært til stede under engelskprøven på den samme skolen sa: Du kunne spore en del frustrasjon rundt bordet nede på biblioteket da de hadde engelsk, fordi de vet at de ikke får det til, ikke sant, og du setter deg ned med noe som du vet at du ikke kommer til å få til, og at du må sitte der i en time, jeg skjønner at det er frustrerende. Det er kjempekjipt. De har jobbet med disse tingene sammen med [en lærer som har spes.ped.], men nå er de plutselig helt alene, og får ingenting av den hjelpen som de er vant til å jobbe med. Det tror jeg at det kan knekke den beste. På skolen hvor det siste utsagnet falt i lærerintervjuet, mener lærerne at de har lyktes godt med å tilrettelegge for svake elever i norsk. Her handler det særlig om hvordan elevene var plassert i et grupperom sammen med en lærer som de kjente godt, slik at de fikk ro rundt seg og kjente seg trygge. Denne muligheten ble mye mindre når prøven skulle gjennomføres digitalt, hvor den fysiske plasseringen av datamaskiner i skolens lokaler bestemte hvordan prøven måtte organiseres for disse elevene. Manglende mulighet for tilrettelegging gjør ifølge lærerne prøven mindre verd for disse elevene på alle måter, siden elevene ikke får vist hva de faktisk kan. «Nå får de jo bare bekreftet at de ikke kan lese,» sier en av lærerne. De foresatte som vi intervjuet i forbindelse med besøkene på barneskoler mente at gjennomføringen av prøvene hadde gått etter planen, og de var heller ikke bekymret for at 90 minutter er verken for kort eller lang tid når elevene skal sitte stille og arbeide. Gjennom e-post-enquêten har vi imidlertid fått tilbakemeldinger om at elever har syntes det har vært veldig lenge å sitte stille, og at oppgavene ble opplevd som vanskelige. En forelder skriver at eleven opplevde oppgavene som så vanskelige at det ga en dårlig mestringsfølelse. Opplevelsen ble forsterket av at prøvene var så omfattende og tok så lang tid. «Det er nedslående for en som ligger på laveste nivå å få en prøve som er laget for å være vanskelig for dem som ligger på høyeste nivå,» skriver denne forelderen. To av de foresatte som svarte på e-post-henvendelsen vår, utdypet at prøvene syntes å være mye vanskeligere enn det pensum som barna deres hadde vært gjennom til og med 4. trinn. Dette syntes foreldrene var leit. Som et apropos nevnte en av lærerne på samme skole i intervjuet at det pensum de var satt til å undervise i, så ut til å gjenspeile dårlig hva elevene ble testet i på de nasjonale prøvene. Dette utsagnet gjaldt faget matematikk. «Tenker du at det er et avvik mellom det som elevene prøves i og det som er deres forutsetninger for å klare prøven?» spurte intervjueren. Denne læreren svarte: Ja. Og også hvordan regningen har blitt presentert for dem, jeg tror at gjennom alle år på skolen, så er det lite problemløsning, og det går det jo veldig mye på i den nasjonale prøven. 143

146 Så jeg må si jeg føler meg litt hjelpeløs når jeg overtar en klasse på matematikk på 5. trinn og de skal rett på nasjonale prøver. Det er så selvfølgelig ikke hos alle elever, men hos mange det er så store hull som må tettes, tankegangen må gjøres om, de må bli problemløsningsorienterte. Det går ikke på to måneder, altså, det er ikke sjanse. Denne evalueringen tar ikke for seg innholdet i de enkelte prøvene, og derfor fremheves dette utsagnet først og fremst fordi kan bidra til å belyse en avmaktsfølelse som både enkeltlærere og elever kan oppleve i møte med prøvene. Elevene skal testes i grunnleggende ferdigheter, men skolen ser ikke ut til å ha lyktes i å forankre arbeidet med slike ferdigheter i hele organisasjonen. Skolelederne nevner ellers den tekniske sårbarheten som følger av de digitale prøvene, hvor mindre og større tekniske problemer kan stresse elevene i prøvesituasjonen og skape uro og bekymring. 18 Her er skolenes budsjett og skoleeiers strategi for IKT-oppdatering og -kursing av betydning, og bare mellom de tre barneskolene i utvalget vårt (som hører hjemme i tre ulike kommuner) ser det ut til å være stor variasjon på dette feltet. Undersøkelsen som ble gjennomført blant lærere (kapittel 6) viste for øvrig at kursing av lærere i forbindelse med nasjonale prøver er lite utbredt. I intervju med skoleledere ble det klart at ledelsen ved en av barneskolene i utvalget har årlig tilbud om å delta på kurs om bruk av prøveadministrasjonssystemet og den tekniske gjennomføringen av elektroniske prøver. Det er skoleeier som er ansvarlig for dette kurstilbudet. Løs struktur i avslutning av prøvene Under observasjonen kunngjorde enkelte lærere i plenum når det gjenstod halvparten av tiden elevene hadde til rådighet, når det gjenstod en halvtime etc. Disse beskjedene ble fulgt av forsikringer om at elevene kom til å ha nok tid. I ett av klasserommene registrerte vi at de aller første elevene mente seg ferdige og klare til å levere prøven allerede etter ca. 25 minutter, men de fleste elevene arbeidet mellom 45 og 60 minutter med prøven i lesing eller regning. Enkelte lærere satte en tidsfrist for når elevene tidligst kunne levere, for eksempel 75 minutter. På den annen side så vi noen få elever tilsammen tre eller fire stykker i alle klassene vi har observert som satt og arbeidet med prøven helt til siste minutt. En av disse snudde seg gledesstrålende til læreren og sa: «Jeg klarte det!» da tiden til slutt var ute. I et annet klasserom spurte den siste eleven (henvendt til læreren): «Er det bare du og jeg igjen nå?» I et rom hvor noen få elever satt og arbeidet helt mot slutten av tidsfristen for prøven, tok læreren ordet og gjentok beroligende at det ikke gjorde noe dersom elevene ikke rakk å svare på alle oppgavene. Når elevene ville levere, måtte de først ha lærerens tillatelse. Denne tillatelsen fikk de etter at læreren hadde gjort en vurdering av tiden elevene hadde brukt, og deretter sett raskt gjennom oppgavene. Det hendte at elever fikk beskjed om å se gjennom oppgavene nok en gang, hvilket kunne tolkes som tegn på at arbeid gjensto eller at eleven hadde gjort åpenbare slurvefeil. Selve avslutningen av prøven foregikk ulikt i forskjellige klasserom og på de forskjellige skolene. Vi har registrert at elever har blitt sendt ut til friminutt etter at de har levert prøven, altså før 90 minutter har gått. Dette er i strid med de formelle reglene for gjennomføring av prøver, og denne bestemmelsen er nedfelt i Rammeverket, Retningslinjene og samtlige lærerveiledninger. 19 Motsatt har vi også sett at elever har blitt holdt tilbake i klasserommet der de leste i stillelesningsbok til det hadde gått 90 minutter siden prøven startet. Vi har også sett at elever har blitt sendt tilbake fra datasalen til det vanlige klasserommet for å fortsette et prosjektarbeid e.l., men dette krever sannsynligvis at en assistent eller en annen lærer er til stede i klasserommet mens fag- eller kontaktlæreren fortsetter å passe på elevene som har prøve. Vårt inntrykk var at noen skoler hadde gode og gjennomtenkte planer for hva elevene skulle drive med etter at prøven var ferdig, mens andre steder måtte dette improviseres. Ettersom elevene fikk avslutte og levere prøven til forskjellige tider, registrerte vi ikke at det ble sagt noe i plenum verken fra lærer eller elever ved denne anledningen. 18 I dette tilfellet viste skolelederne til de store tekniske vanskelighetene som oppsto under gjennomføring av nasjonal prøve i engelsk høsten 2011, og som skapte problemer på landsbasis. 19 Både Rammeverket, Retningslinjene og lærerveiledningene til prøvene slår fast at elevene skal sitte i klasserommet til 90 (60) minutter er gått. Elevene kan imidlertid få levere prøven før tiden er ute. 144

147 To av barneskolelederne kommenterer i intervjuet elevenes tidsbruk og motivasjon for slike prøver. De har merket seg at barna ofte blir fort ferdige, mens resultatene viser at mange av dem kunne ha brukt bedre tid og muligens fått bedre resultater. En av skolelederne reflekterer over den totale mengden av prøver som elevene må ta (som kartleggingsprøver eller ulike prøver initiert av skoleeier), og spør om det at elevene bruker lite tid på gjennomføringen handler om at elevene synes prøvene er vanskelige i seg selv, eller at de mister motivasjonen på grunn av mengden testing. En annen skoleleder mener at digitale prøver i seg selv muligens legger til rette for at elever bruker for kort tid til å klikke seg gjennom oppgavesettet. Her er det selve prøveformen som inviterer til at elever kan konkurrere om å bli først ferdig, noe skolene forsøker å motvirke Elever på 8. trinn om gjennomføring av prøvene Når elevene ikke opplever nasjonale prøver som noe som skulle «måle dem» og som ikke skal brukes til å sette karakter, svarer de aller fleste av dem også at det ikke er noe å grue seg til eller noe de tenkte mer på i forkant. Et par unntak fantes imidlertid blant elevene vi fikk intervjue. En elev synes nettopp at mangelen på forberedelser er et problem, fordi hun da føler at hun ikke vet hva hun kan vente seg å bli spurt om. En annen elev sier at han synes prøver generelt kan være stressende, og at han gruer seg til å se resultatet av prøver og vite at det får betydning for karakteren hans. I dette skiller denne eleven mindre mellom nasjonale prøver og «vanlige» prøver, siden han også gruer seg til å få resultatet fra de nasjonale prøvene. «Hver gang jeg føler at det går bra, får jeg dårlig,» sier denne eleven. Han synes også det er vanskelig at prøven går på tid, samtidig som både han og de andre elevene som deltok i gruppeintervjuet er enige om at alle prøver har et element av tidspress. Han hadde skyndet seg for å bli ferdig med alle oppgavene på de nasjonale prøvene, fordi han hele tiden trodde at han lå bak alle de andre. Dette kan gi et lite innblikk i hvordan prøven kan oppleves for den som ikke har høy selvtillit i skolearbeidet. Vi spurte også elevene om hva de syntes om oppgavene og prøvenes vanskelighetsgrad. Svar som går igjen, er at mange av oppgavene blir oppfattet som svært like, og at de derfor også blir opplevd som monotone. Mengden av oppgaver, understøttet av at oppgavene bare viser til små forskjeller i ordlyd og fremgangsmåte, gjør også at elevene mener de lett kan gå lei og trykke feil svar (digitale prøver) enten fordi de blir trøtte eller fordi det er kjedelig. En elev sier at han synes det er uheldig at de har muligheten til å gjette mellom faste svaralternativ fordi prøven da får et element av flaks, mens en annen elev synes dette er til god hjelp hvis han står fast eller stusser over et spørsmål. En annen elev kommenterte på eget initiativ prøvenes vanskelighetsgrad ved å vise til læreverket skolen bruker i matematikk, og mener at dette læreverket gir et dårligere grunnlag for å gjennomføre nasjonal prøve i regning enn læreverket kameraten hans bruker, på en skole i en annen kommune: Jeg synes prøven var vanskelig fordi her har vi andre bøker enn det de har i [navn på en annen kommune]. Jeg har en god venn der, og de har mye vanskeligere bøker. Så jeg synes egentlig at vi lærer litt for enkle ting her. Når vi får nasjonale prøver, blir det altfor vanskelig for oss. Utsagnet viser til en interessant problemstilling om hvilke sammenhenger som kan finnes mellom elevers resultater fra de nasjonale prøvene og den lokale variasjonen i pensum som ligger til grunn for den ordinære undervisningen. Vi har også vært inne på dette tidligere i dette kapittelet, der en lærer kommenterte forholdet mellom matematikkpensum på mellomtrinnet og nasjonal prøve i regning på 5. trinn. Forholdet mellom læreplaner, pensum og innholdet av nasjonale prøver er imidlertid en problemstilling som ikke omfattes av vår evaluering. Her er utsagnene tatt med fordi de viser til erfaringer med prøvenes vanskelighetsgrad og respondentenes egne forklaringer på disse opplevelsene. Elevene har ellers noe blandede erfaringer med den tekniske gjennomføringen av de digitale prøvene. På den ene skolen hadde det aller meste gått etter planen, der elevene møtte klargjorte og ferdig oppdaterte maskiner. På den andre skolen brukte elevene sine egne laptop er til å gjennomføre 145

148 prøvene, og der var det noe større variasjon i hvilke problemer som kunne oppstå ved innlogging og gjennomføring. Imidlertid hadde ingenting av dette skapt store vanskeligheter for elevene under høstens prøver. På den siste skolen omtalte både skoleleder og lærere maskinparken som svært dårlig, og et par av elevene i klassen hadde opplevd å bli ufrivillig logget av mens de arbeidet med prøven, og måtte løpe opp i administrasjonen for å få nytt passord. Elevene avviser likevel at slike opplevelser skaper stress i prøvesituasjonen, fordi «det er skolens ansvar at pc-ene funker», og «prøvene måler jo ikke oss,» som de sier. Elevene vi intervjuet, sier at de måtte sitte i klasserommet til tiden var ute, men at de får levere når de er ferdige og spille på pc eller lese i stillelesningsbok etterpå. Poenget er bare, sier elevene, at de ikke må forstyrre andre som fremdeles arbeider med prøven. Ungdomsskolelærerne som vi har intervjuet, bekymrer seg langt mindre for elevenes møte med prøvene enn hva mellomtrinnslærerne ga uttrykk for. Når elevene kommer til ungdomsskolen, har de vært gjennom slike prøver en gang allerede, og de synes å være godt kjent med prøveformen, sier flere ungdomsskolelærerne. Enkelte av disse lærere er imidlertid urolige for elevenes motivasjon under prøvene, og mener at elevene oppfatter prøvene kun som en plikt og at det kunne bli mye gjetting og tilfeldig klikking med mustastene. Da er det et tankekors at de samme lærerne antagelig har bidratt til elevenes holdninger ved å vektlegge at prøven ikke egentlig måler dem. Motivasjonen syntes spesielt lav for elever som har lese- og skrivevansker, mener noen lærere, mens andre lærere forteller at elever er spente og kan grue seg helt til de får vite at de ikke får karakterer. Da synes de ikke det er så farlig lenger, mener disse lærerne. En ungdomsskolelærer forteller i intervju om at mer enn 20 elever på en skole ikke ble ferdige med leseprøven. Hvordan har disse elevene det da? spør intervjueren. «Det betyr ingenting for dem, det gir ingen konsekvenser,» svarer læreren. Hun setter ellers elevers mangel på entusiasme i forbindelse med prøvens sviktende muligheter til konkret å måle deres lesekompetanse. «Så lenge det ikke er slik, er det kanskje verre å få dem tent på det,» sa hun. I ettertid ser vi imidlertid grunn til å spørre om dette også kan være en slags projeksjon fra lærernes side av hva lærerne mener at de får ut av prøven(e). Vi har få opplysninger fra foresatte med hensyn til ungdomsskoleelevers erfaringer med gjennomføring av nasjonale prøver. Vi intervjuet en gruppe foresatte på en av ungdomsskolene hvor resultatene jevnt over er gode. Her hadde ikke foreldrene inntrykk av at elevene synes prøvene er «noe ekstra» i skolehverdagen, tvert imot kan det være morsomt og skape god stemning på skolen når resultatene kommer. På den samme skolen fortalte lærerne at elevene er svært opptatt av resultatene, og at det ble jubelstemning i klasserommet da resultatene ble kjent. «Men det er jo ikke alle som har gjort det bra, da, og det blir veldig sånn opphaussing,» sa en av lærerne. «Snittet er høyt, men det er noen som ikke har fått det til. Det er ikke så kult for dem, så vi må jo begrense det.» 7.3 Etter gjennomføring av prøvene Slik vi så i kapittel 5 og 6, skal skoleleder sørge for oppfølging av resultatene på skolenivå og i det lokale forbedrings- og utviklingsarbeidet. Det er videre skoleleders ansvar å legge til rette for at alle lærerne følger opp resultatene i klassen, og at elevene og foreldrene får informasjon om resultatene. Dette skal ses i sammenheng med annen relevant vurderingsinformasjon som lærerne har fra før. Veiledningene til lærerne (se kapittel 3) understreker at for at prøver skal brukes som en del av vurderingsarbeidet, må elevene få tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen, de må få råd om hvordan de kan forbedre seg og de må involveres i eget læringsarbeid. Vi har beskrevet lærernes arbeid med oppfølging av prøvene på generell basis i kapittel 6. I dette kapittelet kan vi bidra med utfyllende informasjon om hvordan elever på 8. trinn oppfatter at prøvene blir brukt i et forbedrings- og utviklingsarbeid. Når elevene sier at de oppfatter at prøvene både skal måle ferdighetene på trinnet og hjelpe læreren til å finne ut hva den enkelte elev trenger i undervisningen, kan det tyde på at elevene likevel ser for seg elementer av individuell måling eller et potensial for individuelt utbytte av nasjonale prøver. Mens utsagn som at «prøvene måler ikke oss» omsettes til lav grad av bekymring i forberedelsesfasen, kan 146

149 utsagn som «læreren kan finne ut hva du må lære mer om eller hva du kan gjøre bedre» forme elevenes oppfatninger av hva prøvene skal brukes til i det videre læringsarbeidet. Vi spurte elevene om hvordan de får kjennskap til resultatene fra nasjonale prøver og hvordan læreren snakker om disse prøvene med den enkelte elev. På flere av skolene hadde de nylig hatt utviklingssamtaler eller elevsamtaler, men samtidig visste vi fra intervju med skoleleder og lærere på skolen at de fremdeles ventet på resultatene i regning. Norskresultatene og engelskresultatene på landsbasis var mer eller mindre ferdige da vi besøkte skolene. Når flere elever mener at læreren ikke hadde snakket om nasjonale prøver på utviklingssamtalen, kan dette derfor skyldes at resultatene enten ikke forelå, eller at skolen foreløpig ikke var ferdig med å analysere resultatene til eget bruk. Vi merket oss likevel at nokså mange av elevene mener at læreren ikke hadde nevnt disse prøvene i utviklingssamtalen eller elevsamtalen denne høsten, og at elevene sier de gjerne vil vite mer om hvordan det har gått med dem. De elevene som sier at de har fått snakke om resultatene, har fått vite hvilket nivå de ligger på. Noen av dem har også fått beskjed om hva de må jobbe mer med, men av hensyn til elevene i intervjusituasjonen og deres personvern har vi ikke spurt dem om å gi eksempler på hva slike beskjeder kunne inneholde. Elevenes tilbakemeldinger om bruken av resultatene understreker hvordan de både oppfatter prøvene som styringsverktøy og som pedagogisk hjelpemiddel. Samtidig som de gjerne vil vite hvordan de selv hadde prestert, forteller de også hvordan prøveresultatene har blitt behandlet i klassen. «Klassen har gjort det dårlig på sånn og sånn, eller klassen må øve mer og mer på det og det,» sa en elev da hun refererte hvordan læreren snakket om resultatene i ettertid. «Ja, det er jo på en måte klassen,» sa en annen elev i samme intervju, «de sier aldri at den og den fikk det resultatet, de sier hele klassen var flinke på dette, mens dette må klassen jobbe mer med.» En tredje elev i det samme intervjuet mente at fordelen med dette er at hvis det er en ting som alle i klassen klarer godt, trenger man ikke å bruke mer tid på det i undervisningen. Her peker eleven på hvordan prøvene kan bidra til å prioritere tid og ressurser for kollektivet. I intervju bekrefter noen av ungdomsskolelærerne at de foreløpig ikke har tilstrekkelig informasjon til å kunne gi elevene konkrete tilbakemeldinger. Mestringsnivå som følge av aggregerte resultater i regning var ikke klart da våre skolebesøk ble avsluttet, mens de nasjonale resultatene i lesing og engelsk forelå da besøkene på ungdomsskolene foregikk. Flere norsklærere og engelsklærere som vi intervjuet, var imidlertid svært misfornøyde med mulighetene til å gi tilbakemeldinger til elevene på grunnlag av prøven. Dette har vi behandlet mer utførlig i kapittel 6 i denne rapporten. Norsklærerne og engelsklærerne sa under intervjuene at de kan informere elevene og foresatte om hvilket nivå eleven ligger på, og gi generelle tilbakemeldinger om hva elever med et gitt mestringsnivå har av utfordringer. Norsklærerne mener imidlertid at dersom prøven skal nyttes som grunnlag for å gi individuelle tilbakemeldinger til eleven, vil dette kreve en stor og ubetalt innsats fra læreren i form av retting og tolkning. Engelsklærerne mener på sin side at prøvens form ikke ga dem noe grunnlag for å gjøre et slik rette- og tolkearbeid overhodet. Dette kan bidra til å forklare de eventuelle mangler i tilbakemeldinger som elevene på disse skolene opplevde at de fikk. En engelsklærer uttrykte seg slik om mulighetene til å gi tilbakemeldinger til elevene: Under utviklingssamtalen delte jeg ut den lille rapporten der det står poeng de har oppnådd og nivå de har fått, men det er også det eneste som står, og så står det hva som er typisk for en elev på det nivået. Men det står ingenting om i din prøve har du hatt særlige problemer med å søke i tekst, du har problemer med å finne informasjon, eller du har problemer med å forstå Det står ingenting sånt. Så det sier jo ikke noe om forbedringspotensialet. ( ) Hva skal vi si? Gjør det bedre neste gang? Øv mer? Jeg vet ikke, jeg. Det er ikke noe mer å hente. Det er bare et fåtall av elevene vi intervjuet som har lest om skolen og resultater av nasjonale prøver i lokalavisen, og ingen av disse synes det er problematisk at skolen deres blir omtalt i en slik sammenheng. «Hadde det handlet om meg og mine karakterer, så hadde jeg selvsagt syntes det var leit,» sier en elev, «men jeg synes ikke det er farlig at det står at skolen har gjort det sånn og sånn eller at trinnet har gjort det slik og slik.» «Jeg føler ikke at jeg bryr meg så mye om [navn på 147

150 kommunen] gjorde det bra eller dårlig,» sier en annen elev. «Jeg føler jo ikke at det gjelder meg personlig.» Elevene reflekterer i noen grad over hva som kan ligge bak hvis en skole blir omtalt som dårlig etter at resultatene fra nasjonale prøver er offentliggjort. «Da har de kanskje heller ikke så gode lærere,» mener en av dem. «Men elever er jo forskjellige, og det er jo ikke slik at alle elever trenger beste karakter for å bli fornøyd,» sier en annen. 7.4 Oppsummering Gjennom intervjuene har vi fått innblikk i hva slags syn elever på 8. trinn kan ha på nasjonale prøver, og hvordan dette synet henger sammen med informasjonen de har fått fra skolen og lærerne. Dette gjenspeiles i elevenes motivasjon for å ta prøven. Oppfatningene om at prøven ikke måler dem som individer eller «ikke har konsekvenser», som en av lærerne sier det, påvirker hvordan elevene vurderer forberedelsene, gjennomføringen og bruken av resultater i ettertid. Intervjumaterialet i dette kapittelet bekrefter at det øves mer til prøvene på barneskolene enn på ungdomsskolene. Fravær av karakterer brukes til å bygge opp under en kollektiv innretning av prøvene på ungdomstrinnet, slik at elevene fremholder at det ikke egentlig er dem som testes, men «klassen», «læreren», «trinnet», «skolen» eller også «landet». Dette kan antagelig bidra til å avmystifisere prøvene for elevene, men samtidig kan det også gjøre at motivasjonen for å gjøre det godt, synker. Vi ser at dette kan medføre at elever underpresterer sammenliknet med det mestringsnivået de reelt sett ligger på. Når det gjelder gjennomføring av prøvene, har vi gjennom observasjoner sett at ikke alle skoler har lokaler som egner seg godt for gjennomføring av digitale prøver. Med dette mener vi at skolene kan ha få maskiner slik at klasser må deles opp, og at maskinene kan være plassert slik at elevene kan se hverandres arbeid under prøven. Våre observasjonsbesøk ga likevel inntrykk av at skolene hadde løst disse utfordringene så godt det lot seg gjøre. På alle barneskolene ble prøvene gjennomført teknisk i tråd med planen, det vil si at verken dataproblemer eller eventuelle feil og mangler ved det skriftlige materiellet 20 førte til unødige forsinkelser eller stress i prøvesituasjonen. I intervjuene har vi imidlertid fått vite av lærernes og skoleledernes erfaringer at de digitale prøvene kan være sårbare for denne typen problemer eller forsinkelser. Derfor kan det ha hatt stor betydning at datamaskinene på disse skolene var gjort klar for elevene på forhånd, og at skolene hadde en plan for hvordan elevenes påloggingsinformasjon skulle distribueres. Faste plasser, eller forhåndstildelte plasser i rommene synes også å ha betydning for at oppstarten av prøvene har gått forholdsvis raskt. Her kan det synes som at skolenes forberedelser til prøvene, der mange elever får ha en «liksom-prøve» på forhånd, er godt anvendt tid. Lærere på mellomtrinnet har i intervju uttrykt frustrasjon over det de mener er uklarhet om tilrettelegging av prøvesituasjonen for elever med lærevansker. Fordi vi i denne evalueringen ikke har kjennskap til enkelttilfeller, er det vanskelig å bedømme om elevene som lærere og rektorer forteller om i intervjuene, burde vært fritatt fordi de ikke har noe utbytte av prøven. Likevel merker vi oss at både skoleledere og lærere mener at regelverket for nasjonale prøver er mangelfullt når det gjelder elever som ikke har individuell opplæringsplan eller rett til særskilt opplæring i norsk, men som likevel har det vanskelig på skolen. Svakhetene i regelverket gjelder både muligheten til å frita disse elevene fra prøven og muligheten til å støtte disse elevene i gjennomføringen av prøven. Vi har fått kjennskap til en viss grad av tilrettelegging for svake elever i prøvesituasjonen på alle tre skolene vi besøkte. Denne tilretteleggingen har dreid seg om rommene der elevene får ha prøven (jobbe alene m/assistent, sitte skjermet fra andre) og at elever kan få hjelp til å forklare ord og begreper samt få lest oppgaver høyt av lærer/assistent under regneprøven. Gjennom intervjuene bidro noen av lærerne med refleksjoner over hvordan de selv og andre ved skolen omtalte prøvene, og hvordan slik omtale kunne påvirke elevene. Vi synes disse refleksjonene er særlig interessante, fordi de peker på hvordan det totale omfanget av omtale og debatt som disse prøvene har vært utsatt for, samt holdningene som hersker om prøvene på den enkelte skole, kan ha 20 I den nasjonale prøven i lesing for 5. trinn høsten 2012 sto det i elevenes veiledning til oppgaveheftet at heftet inneholdt seks tekster, mens det i virkeligheten var fem tekster i heftet. 148

151 bidratt til å gjøre opplevelsen av selve prøvene mer skremmende for elevene enn det som kanskje er nødvendig. Dette kan settes i forbindelse med hva Elstad (2009) om skoler som henges ut i media på grunn av dårlige resultater, og hvordan enkelte skoler reagerer med skippertak som kan skape både frykt og stress blant de ansatte. Det er grunn til å tro at en slik situasjon kan smitte over på elevene, slik at de får et negativt inntrykk av hva de skal igjennom. Likevel har ikke intervjumaterialet klart å avdekke hvor stort dette problemet kan være, og vi anbefaler derfor å benytte mer kvantitativt orienterte og anonymiserte teknikker dersom slike tema skal undersøkes nærmere i fremtiden. Endelig vil det, som tilbakemeldingene fra enkelte foresatte viser til, alltid være elever som har det dårlig i prøvesituasjoner og som opplever lav grad av mestring. Her pekes det på at prøvenes vanskelighetsgrad i seg selv kan forverre opplevelsen for elevene. Mens oppstarten av prøvene hadde en klar struktur i alle klasserommene hvor vi var til stede, synes det som om avslutningen av prøvene er ustrukturert og dårligere planlagt på skolene. Det synes som om uro blant elevene er blant lærernes største utfordringer mot avslutningen av prøvene. De fleste elevene i klasserommene vi besøkte, var ferdige med prøven da det hadde gått litt mer enn halvparten av makstiden på 90 minutter. Da vi satt i klasserommene, var det lett for oss som observatører å forstå at elever som enten jobber raskt, men kanskje slurver eller hopper over oppgaver som de ikke forstår, kanskje også er elever som kan ha lett for å forstyrre andre i arbeidssituasjonen fordi de kjeder seg eller ikke orker å sitte stille lenger. Det er lett å tenke seg at disse elevene kunne skapt uro dersom de måtte ha blitt sittende i klasserommet tida ut. Videre kan vi forestille oss at dersom elevene får avslutte og levere prøven når de selv vil, kan det øke følelsen av press eller ikke å lykkes med prøven for elevene som trenger lenger tid. I intervju har også barneskolelærerne understreket for oss hvor vanskelig det kan være for en 10-åring å sitte stille i 90 minutter. Prøvene har dermed et innebygget problem i tidsrammen, hvor 90 minutter synes å være i meste laget for mange av elevene, mens noen få av dem ikke klarer seg med den tiden de har til rådighet, og kan risikere å bli stresset av elever som er tidligere ferdig. Måten lærerne velger å løse dette på, kan skape ulikhet i prøvesituasjonen for elevene på tvers av klassene og skolene. Vi har sett at noen lærere har satt minstetid for når elevene kan levere, men de har i praksis ingen mulighet til å sikre at elevene arbeider med prøven hele denne tiden. Da blir eneste mulighet å holde elevene i ro på plassene sine til minstetiden er oppfylt. Til dette formålet har vi sett at elevene har fått ekstra lesestoff eller ekstra oppgaver. Dette kan betraktes som en måte å holde på elevene og om mulig få dem til å gå tilbake til prøven og forsøke seg på oppgavene en gang til, eller å se over arbeidet sitt med friske øyne etter at de har fått en «pause». Samtidig kunne dette også skape situasjoner der hele klassen eller nesten hele klassen satt og gjorde noe annet enn å arbeide med prøven, også før denne formelt kunne leveres. Vi kan ikke se bort fra at det å lese tegneserier kan være mer fristende for enkelte enn å jobbe med regneoppgaver. Det at elevene får gå ut og ta (ekstra langt) friminutt når de er ferdige, er i strid med regelverket for prøven og kan gjøre at enkeltelever får lyst til å levere og komme seg ut av klasserommet før de egentlig burde. Dette bekreftes til en viss grad av intervjuer med elever på 8. trinn, som forteller at de kan spille på data når de er ferdige med prøvene, så lenge de sitter i ro. Vi understreker at dette ikke er i strid med retningslinjene, men spør om dette styrker motivasjonen for å arbeide med selve prøven. Når elever på 8. trinn forteller hva nasjonale prøver er, vektlegger de styrings- eller kartleggingsaspektet ved prøvene. Samtidig ønsker elevene seg klare tilbakemeldinger om resultatene av prøvene, for å vite hvordan de som enkeltpersoner kan gjøre det bedre. Materialet vårt er ikke egnet til å trekke generelle konklusjoner om skolenes bruk av resultatene fra et elevperspektiv. Våre resultater kan likevel tyde på at ikke alle elever får klare tilbakemeldinger, eller at lærernes tilbakemeldinger kan dreie seg om innplassering på nivå og derfor være vanskelige å «oversette» for elevene når det kommer til hva de faktisk må gjøre for å oppnå bedre resultater. Slik ser det ikke ut til at de generelle formuleringene i lærerveiledningene om at elevene må få tilbakemeldinger og råd om hvordan de kan forbedre seg, blir oppfylt ved nasjonale prøver. Uansett mener elevene at det tar for lang tid før de får høre noe substansielt om hvordan de har gjort det på prøvene. 149

152 I den grad virkemidlene i systemet som utgjør nasjonale prøver kan virke etter sin egen logikk, slik Skedsmo (2011) uttrykker det, ser vi at en bevisst nedtoning av testaspektet ved prøvene eller læreres manglende entusiasme for prøvene kan føre til at elevene ikke tar prøvene helt alvorlig og mister motivasjon, som både elever og lærere uttrykker det. På denne måten kan prøvene gi et skjevt bilde av elevenes mestringsnivå, både ved at elevene slurver eller konkurrerer om å bli først ferdig. Vi ser likevel at mange av elevene ønsker å få konkrete tilbakemeldinger om hvordan de har gjort det, og vi må forutsette at disse elevene har lagt et visst arbeid i å gjennomføre selve prøven. Flere av dem synes skuffet eller i det minste satt på vent av skolen, i og med at resultatene kommer sent eller har en rund form som kan gjøre det vanskelig å tolke for den enkelte elev. Elevenes utbytte av prøvene synes avhengig av lærernes tid, kompetanse, velvilje og interesse for å bruke resultatet fra de samme prøvene. Dersom lærere ser på prøvene som en del av en hierarkisk ansvarliggjøring i skolen (Garmannslund m.fl. 2008), mister elevene sannsynligvis utbytte av prøvene. Elevenes utbytte tjener derfor på at lærerne behandler prøvene som et ledd i profesjonell ansvarliggjøring eller kanskje aller helst som ledd i brukermedvirkning for å forbedre elevenes læringsresultater (ibid.). Det vil delvis være opp til skoleleder og lærerkollegiet hvordan prøvene omtales og behandles i møte med elevene, men læreres manglende opplevelse av prøvenes nytteverdi kan redusere en slik innsats. 150

153 8 Resultatene fra nasjonale prøver brukt på aggregert nivå Resultatene fra nasjonale prøver på skole- og kommunenivå har en sentral plass i offentlig diskusjon og publiseres i politiske dokumenter og i media (se kapittel 4). Samtidig er både skoleeiere og skoleledere pålagt å følge opp resultatene i det lokale forbedrings- og utviklingsarbeidet (Retningslinjene, s. 14), Derfor er det på sin plass å gå gjennom bakgrunnen for disse resultatene og vise hvordan de beregnes og presenteres. For brukere av aggregerte tall fra nasjonale prøver er det er viktig å ha en bevissthet om kvaliteten på resultatene og hvilken usikkerhet og eventuelle begrensninger de er forbundet med. Dette vil vi gjøre rede for ved å bruke en del eksempler. Ytterligere eksempler og drøftinger er presentert i et eget vedlegg (Vedlegg kapittel 8). Like nødvendig som å kjenne til disse sidene ved resultatene fra nasjonale prøver, er det å ha kunnskap om hvilken virkelighet de brukes i. Hvordan ser Skole-Norge ut på skole- og kommunenivå og hvem kan ha nytte av resultatene fra nasjonale prøver? Hovedpunkter i kapittel 8 Kvantitative funn Forenklingen av prøveresultatene i form av gjennomsnittsverdier kan gi misvisende tall, spesielt for små skoler og kommuner. «Skoleporten» gjengir ikke de faktiske feilmarginene for gjennomsnittsverdiene som presenteres. Flertallet av skolene og nærmere halvparten av kommunene har så få elever at resultatene i «Skoleporten» blir av liten verdi. Dette fordi gjennomsnittstall tall basert på få elever er beheftet med stor statistisk usikkerhet. Kvalitative funn Veiledningen for bruk av resultater i «Skoleporten» presiserer at det er usikkerhet knyttet til resultatene og advarer mot for vidtgående tolkninger. Veiledningen åpner for sammenlikninger mellom kommuner og fylker, men advarer mot sammenlikninger mellom skoler og over tid, uten at dette begrunnes på en overbevisende måte. Anbefalinger Gjennomsnittsverdier bør baseres på de faktiske prøveresultatene og kan eventuelt standardiseres slik at de blir sammenliknbare med resultater beregnet etter dagens metode. Alle gjennomsnittsverdier bør presenteres med statistisk feilmargin og antallet elever som ligger til grunn for tallene bør oppgis 151

154 8.1 Beregning og presentasjon av resultater på aggregert nivå Utgangspunktet for alle tall på aggregert nivå, enten de gjelder klasser, skoler, kommuner eller fylker, er de enkelte elevenes resultater på de nasjonale prøvene. Disse resultatene gis i form av et gitt antall poeng og poengene reflekterer antall riktige svar eleven får på prøven. Poengskalaen varierer mellom prøver og klassetrinn. Høsten 2012 gikk skalaen for lesing på 5. trinn fra 0 til 30, mens yttergrensene var 0 og 58 for regning på 8. og 9. trinn. Vi vil i denne sammenheng understreke at prøvenes innhold og måten prøveresultatene beregnes på for den enkelte elev ikke er gjenstand for noen form for evaluering i dette prosjektet. Vi forutsetter dermed at prøvene måler det de skal måle (høy validitet) og at de gjør dette på en god og sikker måte (høy reliabilitet) og at de måler enkeltelevens grunnleggende ferdigheter i lesing, regning og engelsk på en faglig forsvarlig og fullt ut tilfredsstillende måte. Det er også viktig å understreke at prøvene ikke måler kvaliteten på undervisningen lærerne gir. Vi skal her fokusere på den videre bearbeidingen av resultatene for enkeltelever og hvordan resultater for grupper av elever framkommer og presenteres. Det er slike aggregerte resultater som presenteres på Utdanningsdirektoratets nettsted «Skoleporten». Resultater for kommuner 21 og fylker er tilgjengelig for allmennheten, mens skoleeiere i tillegg har tilgang til resultater for sine skoler og hver skole kan gå inn på egne resultater. Første trinn i bearbeidingen av elevresultatene er at de opprinnelige fingraderte poengskalaene deles inn i mestringsnivåer. Det er tre nivåer for femte trinns prøver og fem for prøvene på ungdomstrinnet. I «Skoleporten» finner man søylediagrammer som viser hvor stor prosentandel av elevene som befinner seg på hvert mestringsnivå. På nasjonalt nivå fordeler elevene på femte trinn seg med omtrent 25 prosent på hvert av nivåene 1 og 3 og 50 prosent på nivå 2. For åttende trinn er normen 10 prosent på hvert av nivåene 1 og 5, 20 prosent på nivå 2 og 4 og 40 prosent på nivå 3. Dermed kan resultatene for en skole, kommune eller et fylke sammenliknes med den nasjonale fordelingen. Det som går tapt i denne bearbeidingen er fordelingen av elevene innenfor de enkelte mestringsnivåene. Hver elevs resultat teller dermed likt, uansett om det ligger i bunnen, midten eller toppen av mestringsnivået det tilhører. Man kan også skille mellom gutters og jenters resultater og private og offentlige skoler. Figur 8.1 viser et eksempel på hvordan disse resultatene formidles i «Skoleporten», i dette tilfellet leseprøven på femte trinn for jenter på offentlige grunnskoler i Hordaland i årene 2008 til Under forutsetning av at kommunen har flere enn én grunnskole. 152

155 Figur 8.1 Eksempel på skjermbilde fra «Skoleporten». Viser fordeling på mestringsnivåer på leseprøven for jenter på femte trinn ved offentlige skoler i Hordaland Neste trinn i bearbeidingen består i at det beregnes et gjennomsnittlig mestringsnivå ut fra hvordan elevene fordeler seg på de tre eller fem nivåene. For hele landet er det gjennomsnittlige mestringsnivået 2,0 for prøvene på femte trinn og 3,0 for ungdomstrinnet. Skoler, kommuner og fylker kan sammenliknes med dette nasjonale nivået. Også denne informasjonen rapporteres i form av søylediagram i «Skoleporten» (figur 8.2). Vi ser her at leseprøven på femte trinn for jenter på offentlige grunnskoler i Hordaland hadde samme gjennomsnittsresultat hvert år, nemlig 2,0. I tillegg til fordelingen av elevene på de enkelte mestringsnivåene og det beregnede gjennomsnittlige mestringsnivået, rapporteres også standardavviket for det gjennomsnittlige mestringsnivået. Standardavviket i vårt eksempel er 0,7 hvert år for alle prøvene. Dette er et spredningsmål og gir en grov antydning av hvordan elevene fordeler seg på de tre eller fem mestringsnivåene, om de er spredt utover eller konsentrert rundt gjennomsnittet. Standardavviket er imidlertid ikke så enkelt å tolke dersom man ikke har kunnskaper om statistikk, og selv da er informasjonsverdien nokså begrenset. Når det er få kategorier som ligger til grunn for beregningen av gjennomsnittet, blir det ekstra vanskelig å tolke standardavviket på en intuitivt forståelig måte. 22 Det som ikke rapporteres i «Skoleporten» er antallet elever tallene er beregnet på grunnlag av. Dette er en helt sentral informasjon som det er vanlig praksis å oppgi i forbindelse med alle typer statistikk. 22 En tommelfingerregel for tolkning av standardavvik sier at ca 68 prosent ligger innenfor +/- 1 standardavvik fra gjennomsnittet, forutsatt at vi har normalfordeling («jevn» fordeling rundt gjennomsnittet). I vårt eksempel betyr det at 68 prosent skal ha en verdi mellom 1,3 og 2,7. Dette gir imidlertid liten mening så lenge det bare er tre verdier på skalaen, nemlig 1,2 og 3. Siden det opprinnelige fingraderte prøveresultatet er så grovt forenklet, vet vi heller ikke hvor på en mer fingradert skala, som også kunne gå fra 1,0 til 3,0, elevene faktisk befinner seg. 153

156 Informasjon om antall elever i gruppa som presenteres er i seg selv verdifull, og den er helt nødvendig for å beregne den statistiske usikkerheten rundt det gjennomsnittlige mestringsnivået som rapporteres. Figur 8.2 Eksempel på skjermbilde fra «Skoleporten». Viser gjennomsnittlig mestringsnivå på tre prøver for jenter på femte trinn ved offentlige skoler i Hordaland Figur 8.2 viser noe som er ganske typisk for de aggregerte prøveresultatene for store grupper av elever. Når mange elever ligger til grunn for beregningene, er det vanligvis små endringer fra år til år og avvikene fra landsgjennomsnittet er ofte ikke særlig store. Når vi sammenlikner de to figurene, ser vi også noe annet som er ganske typisk. Vi finner endringer fra år til år for fordelingen på mestringsnivåene i lesing i figur 8.1, men ikke for gjennomsnittlig mestringsnivå i figur 8.2. Det forteller oss at endringene i figur 8.1 kan skyldes tilfeldigheter og ikke gir uttrykk faktiske tendenser. Dette understrekes av at tallene svinger fra år til år uten at vi finner noe systematisk mønster. 8.2 Usikkerheten rundt gjennomsnittsresultater Alle statistiske opplysninger er beheftet med usikkerhet, også tall som i utgangspunktet omfatter alle elever i en bestemt gruppe og som altså ikke er utvalgsundersøkelser. Derfor er det helt avgjørende for tolkningen av tallene at man tar hensyn til den statistiske usikkerheten. I veiledningen til resultatene som presenteres på «Skoleporten» understrekes det at man må ta hensyn til dette, men den faktiske usikkerheten, eller feilmarginene, er ikke oppgitt. På samme måte som ikke å oppgi hvor mange elever som ligger til grunn for de beregnede tallene, bryter det med vanlig praksis å ikke oppgi feilmarginer for resultatene. Siden feilmarginene ikke presenteres i «Skoleporten», når de heller ikke offentligheten. Publisering av skoleresultater som ikke tar hensyn til feilmarginene bidrar til å gi inntrykk av at aggregerte resultater fra nasjonale prøver er presise mål, mens dette bare vil være 154

157 tilfelle for noen ganske få svært store skoler. Selv på kommunenivå vil de aller fleste resultater ha en feilmargin som det må tas hensyn til. Det er to forhold som bestemmer hvor stor feilmarginen er for det enkelte gjennomsnittsresultatet. Det ene er antall elever i gruppa, mens det andre er hvordan disse elevene fordeler seg på de tre eller fem mestringsnivåene. Eller rettere sagt, hvor stort avviket er mellom mestringsnivået for hver enkelt elev og gjennomsnittlig mestringsnivå for alle elevene i gruppa man studerer. Jo større spredning det er av elevene i forhold til gruppegjennomsnittet, og jo færre elever det er i gruppa, jo større er usikkerheten og den statistiske feilmarginen. Hvis alle elever er på samme mestringsnivå, er det ingen feilmargin. På nasjonalt nivå er det i praksis ingen feilmargin fordi vi da har å gjøre med en svært stor elevgruppe. Vi kan dermed trygt gå ut fra at et landsgjennomsnitt på 2,0 på femte trinn ligger fast og kan brukes som sammenlikningsgrunnlag uten å ta høyde for usikkerhet rundt dette resultatet. I mange tilfeller er imidlertid gruppene som analyseres og sammenliknes med dette landsgjennomsnittet svært små. Hvis det dreier seg om 40 elever som oppnår et gjennomsnitt på 1,8 og har en tilnærmet normalfordeling på mestringsnivåene, vil feilmarginen være +/- 0,22 og vi kan dermed ikke si med tilstrekkelig grad av sikkerhet at dette resultatet faktisk avviker fra landsgjennomsnittet på 2,0. Forenklingen fra fingraderte skalaer for elevenes prøveresultater til skalaer med bare tre eller fem mestringsnivåer kan både fortegne resultatet og øke den statistiske usikkerheten rundt gjennomsnittet. Forenklingen gjør at nyansene forsvinner og nyansene består i dette tilfellet av fordelingen av elevene innenfor mestringsnivåene. Hvis elevene er jevnt fordelt langs hele den opprinnelige fingraderte poengskalaen og med en konsentrasjon rundt gjennomsnittet (normalfordeling), spiller forenklingen mindre rolle enn der det er en mer ujevn fordeling langs skalaen. Jo større elevgruppene er, jo mer jevnt fordelt rundt gjennomsnittet vil de normalt være. Det er særlig i mindre elevgrupper at vi finner eksempler på mer ujevne fordelinger og da er faren for at forenklingen til tre eller fem mestringsnivåer og beregningen av et gjennomsnittlig mestringsnivå kan gi et fortegnet og i verste fall direkte misvisende bilde i forhold til det gjennomsnittlige prøveresultatet for elevene. I Vedlegg kapittel 8 viser vi eksempler på dette Dette er Skole-Norge Vårt utgangspunkt har i denne sammenhengen vært hvordan prøveresultatene analyseres på aggregert nivå og presenteres i «Skoleporten», altså på nasjonalt nivå, i 19 fylker, kommuner og nærmere 2900 grunnskoler. Vi har allerede påpekt at det sannsynligvis er få problemer med resultatene slik de presenteres i «Skoleporten» for store elevgrupper, både når det gjelder forenklingen av skalaen og usikkerheten rundt de gjennomsnittlige mestringsnivåene. Dette gjelder fylkene, de største kommunene og de største ungdomsskolene. Situasjonen er en helt annen for små skoler og små kommuner. Det er likevel viktig å understreke at det ikke er det samlede elevtallet det her er tale om, men antall elever på de aktuelle klassetrinnene der prøvene gjennomføres. Det er ikke mulig å angi en grense for når elevtallet er tilstrekkelig stort til at usikkerheten rundt resultatene har liten betydning. Dette vil avhenge av hvilken presisjon som er ønsket for resultatene som presenteres. Det har derimot vært vanlig å sette en nedre grense for når man ikke bør offentliggjøre tall og foreta gjennomsnittsberegninger i det hele tatt. Tradisjonen i Statistisk sentralbyrå var i mange år å sette tall basert på grupper som omfatter færre enn 20 enheter i parentes eller ikke presentere dem, for å markere at usikkerheten da er så stor at man strengt tatt ikke bør bruke slike tall i analyser. I «Skoleporten» brukes en skala med én desimal for å angi gjennomsnittlig mestringsnivå og dette gir et signal om hva slags presisjon som ønskes. For å kunne si at et resultat på 1,9 med 95 prosent sannsynlighet er forskjellig fra landsgjennomsnittet på 2,0, må antall elever være minst Lokalstyret på Svalbard regnes som egen kommune. 24 Vi forutsetter da et standardavvik på 0,7, slik det er i eksemplene i figur 8.2. Beregningen er foretatt i signifikansberegningsprogrammet Zigne

158 Når vi sammenlikner to like store kommuner, slik det åpnes for i veiledningen på «Skoleporten» 25, må hver av dem ha minst 377 elever på femte trinn for at vi skal kunne si at gjennomsnittstallet 1,9 med 95 prosent sannsynlighet er forskjellig fra 2,0. Det er bare 25 norske kommuner som har så mange elever på femte trinn i offentlige skoler at 0,1 ville utgjøre en statistisk signifikant forskjell. Ingen norske skoler har så mange elever på femte trinn eller åttende trinn. Den største norske barneskolen har 140 elever på femte trinn, mens den største ungdomsskolen har 268 elever på åttende trinn. Norge består av mange små kommuner og få store. Det samme gjelder grunnskolene, og da særlig barneskolene og 1-10 skolene. Det er bare blant ungdomsskolene at vi finner en relativt stor andel store skoler. 205 av landets kommuner, altså nesten halvparten, har færre enn 50 elever på femte trinn og det er bare 70 kommuner, eller hver sjette, som har minst 200 elever på dette trinnet. 82 prosent av barneskolene har færre enn 50 elever på femte trinn og det samme gjelder 94 prosent av 1-10 skolene. Blant de rene ungdomsskolene er situasjonen en annen ved at 44 prosent av dem har minst 100 elever. I Vedlegg Kapittel 8 dokumenteres disse forholdene nærmere. 8.3 En typisk norsk kommune under lupen Vi har tatt for oss tallene for en helt bestemt og ganske typisk norsk kommune, både når det gjelder folketall, elevtall og antall skoler. 26 Elevtallet på femte trinn har variert en del de siste fem skoleårene for denne kommunen, med 51 som det laveste og 81 som det høyeste. Slik variasjon er langt fra uvanlig. Når vi sammenlikner denne kommunens resultater for de fem siste skoleårene slik de er publisert på Skoleporten, ser vi at gjennomsnittlig mestringsnivå varierer mellom 1,8 og 1,9 i engelsk, mellom 1,8 og 2,1 i lesing og mellom 1,8 og 2,2 i regning. Gjennomsnittstallene, med standardavvik og feilmargin er vist i figur 8.3. Gjennomsnittet er markert med streken midt på søylen, de grå feltene angir feilmarginen (konfidensintervallet) rundt gjennomsnittet, mens de blå feltene angir standardavviket. Når vi sammenlikner med landsgjennomsnittet på 2,0, ser vi at fire av 14 resultater avviker signifikant fra dette. Regning i 2010 ligger over landsgjennomsnittet, mens regning i 2009, lesing i 2011 og engelsk i 2009 ligger under landsgjennomsnittet. Den ene av to statistisk signifikante endringer over tid 27 vi finner for denne kommunen er en økning fra 1,8 til 2,2 i regning fra 2009 til Året etter sank resultatet til 2,0 og videre til 1,9. Vi finner også en nedgang i leseferdighetene fra 2010 til 2011, som følges av en oppgang året etter Lastet ned Kommunen har et folketall på ca 4900, noe som plasserer den omtrent midt i fordelingen av norske kommuner etter folketall, den har drøyt 600 grunnskoleelever, som er litt over midtpunktet i fordelingen. Den har tre offentlige skoler, som er det vanligste blant norske kommuner. Hver skole har i gjennomsnitt 209 elever, mens landsgjennomsnittet er Endringer er statistisk signifikante når feilmarginene (de innerste grå feltene) for to søyler ikke overlapper hverandre 156

159 Figur 8.3 Gjennomsnittlig mestringsnivå på nasjonale prøver for fem år i en typisk norsk kommune. Med standardavvik og konfidensintervall på 95 % nivå. Kilde: Skoleporten. N = Antall elever er basert på at alle elever har gjennomført alle nasjonale prøver. Tallene kan brytes ned etter kjønn, og da blir usikkerheten enda større. 28 Det kan ut fra tallene i «Skoleporten» for vår eksempelkommune se ut som om jentene leser stadig dårligere, mens guttene leser stadig bedre. Usikkerheten rundt tallene for disse elevgruppene på mellom 25 og 40 elever er imidlertid så stor at det som kan se ut som en negativ trend for jentene og en positiv trend for guttene mest sannsynlig er et utslag av tilfeldigheter. Vi vil tro at denne tanken om tilfeldig variasjon over tid kan ha streifet mange skoleeiere i små kommuner. Det hører også med til historien at den aktuelle kommunens elever er fordelt på tre skoler med mellom 14 og 33 elever hver på femte trinn de fem årene, noe som ikke gjør oppgaven mindre krevende for en skoleeier som vil sammenlikne sine skoler. Hvis vi skulle overføre tallene i kommuneeksemplet ovenfor til å gjelde en enkelt skole, og ikke tre skoler i en kommune, ville en slik barneskole ha omtrent 470 elever til sammen, mens en 1-10 skole ville hatt 670 elever. Selv for store skoler er resultatene altså beheftet med betydelig usikkerhet. Det er bare 89 av landets 1630 barneskoler som har minst 470 elever, mens bare åtte av skoler har minst 670 elever. Bak tallene for gjennomsnittlig mestringsnivå ligger den faktiske fordelingen av elevene på de enkelte mestringsnivåene. I tabell 8.1 gjengir vi denne fordelingen for prøven i regning, både i form av prosentvis fordeling og antall elever på hvert mestringsnivå. Kilden for fordeling på mestringsnivåene er «Skoleporten», mens GSI er kilde for antall elever. Vi har i tillegg beregnet en nedre og øvre teoretisk grense og et midtpunkt for gjennomsnittlig prøveresultat på en skala fra 0 til 45 29, gitt fordelingen på mestringsnivåene. Vi ser at andelen på nivå 1 sank med 10 prosentpoeng fra 2009 til 2010, mens andelen på nivå 2 sank med 21 prosentpoeng. Dermed økte andelen på nivå 3 med hele 32 prosentpoeng. De to påfølgende årene reverseres imidlertid det aller meste av denne utviklingen. Det som er særlig påfallende er at man har et toppår midt i perioden, mens nivået første og siste år er omtrent det samme. Hvordan tolkes et slikt resultat? Gjorde skolene i kommunen en særlig sterk innsats med elevene på fjerde trinn i skoleåret , som gir seg utslag i en kraftig forbedring av resultatet ved regneprøvene på 28 En tommelfingerregel sier at usikkerheten halveres når utvalget firedobles, mens den øker med 40 % når utvalget halveres. Hvis konfidensintervallet er +/- 0,22 for hele elevgruppa på 50, vil det bli +/- 0,31 når vi analyserer gutter og jenter hver for seg og det er like mange gutter som jenter. 29 Dette er den opprinnelige skalaen for prøveresultatene i regning på femte trinn høsten

160 femte trinn høsten 2010? Og kan nedgangen de påfølgende årene skyldes at man har falt tilbake til gamle synder? Hadde dette elevkullet eksepsjonelt dyktige lærere i regning? Kan det gode resultatet høsten 2010 skyldes at man traff særlig godt med forberedelser og nærmest drillet elevene umiddelbart før prøvene i regning dette året, mens man ikke jobbet like målbevisst rett før prøvene de andre årene? Gjorde skoleeier en egen innsats i forhold til skolene før regneprøven høsten 2010 og fulgte skolene tett, særlig i regning? Har foreldrene gjort en innsats utover det vanlige i forhold til sine barn dette året, eller har elevene selv tatt et skikkelig skippertak? Tabell 8.1 Fordeling på mestringsnivå i nasjonale prøver i regning. En typisk kommune Nivå 1 % 29 % 29 % 19 % 31 % 35 % 28 % Nivå 2 % 53 % 60 % 39 % 43 % 42 % 47 % Nivå 3 % 17 % 11 % 43 % 26 % 23 % 25 % Sum % 100 % 100 % 100 % 100 % 100 % 100 % Gjennomsnitt nivå 1,9 1,8 2,2 2,0 1,9 2,0 Nivå 1 (n=) Nivå 2 (n=) Nivå 3 (n=) Sum elever (N=) Prøveresultat minimum 17,1 16,4 22,6 17,9 16,5 18,4 Prøveresultat midtpunkt 24,2 23,5 29,2 25,0 23,8 25,4 Prøveresultat maksimum 31,3 30,6 35,7 32,1 31,1 32,4 Like sannsynlig som at det er elevenes, foreldrenes, lærernes, skoleledernes eller skoleeiers innsats som er forklaringen på det gode resultatet i regning høsten 2010, kan det være at det er forhold utenfor skolene og læringssituasjonen som har gitt seg utslag av mer tilfeldig karakter. En mulig forklaring kan ligge i selve beregningsmetoden for de resultatene som offentliggjøres. Kan det tenkes at skolen i hele femårsperioden har hatt mange elever som har ligget nær grensene for mestringsnivåene, men at det har vært litt tilfeldig hvor mange som har endt opp på hvert nivå? Figur 8.3 og tabell 8.1 sier nemlig ikke noe om hvilke prøveresultater elevene innenfor de tre mestringsnivåene fikk. Hvis prøveresultatene målt i oppnådde poeng har en bimodal fordeling 30, vil særlig mange elever kunne ligge nær disse grensene. Det kan være slik at mange av elevene på de to laveste mestringsnivåene i 2009 og 2011 i virkeligheten lå svært nær grensen for mestringsnivået over, mens mange av elevene på de to øverste mestringsnivåene i 2010 lå nær mestringsnivået under. Jo nærmere prøveresultatet til en enkeltelev ligger grensen mellom to mestringsnivåer, jo mer tilfeldig vil det være hvilket nivå eleven ender på. Da vil det som ikke er statistisk signifikante forskjeller i faktisk oppnådd gjennomsnittlig prøveresultat kunne framstå som signifikante forskjeller i gjennomsnittlig mestringsnivå. De tre nederste radene i tabell 8.1 viser de teoretiske yttergrensene og midtpunktet for det gjennomsnittlige prøveresultatet, gitt fordelingen av elevene på mestringsnivåene slik det er i tabellen. Selv om yttergrensene først og fremst er av teoretisk interesse, viser tabell 8.1 at det kan være betydelig variasjon i prøveresultatene når man sammenlikner grupper med samme gjennomsnittlige mestringsnivå. Samtidig kan grupper som har ulikt gjennomsnittlig mestringsnivå i realiteten ha omtrent samme gjennomsnittlige prøveresultat, slik det er tilfelle med skole A og B i tabell 8.2, der vi har presentert et tenkt eksempel med ekstremverdier. Det kan til og med være slik at den skolen som har dårligst prøveresultat, kommer best ut målt etter mestringsnivå, som skole C i tabellen. Igjen viser de tenkte eksemplene mulige teoretiske ytterpunkter, men de demonstrerer samtidig at den grove forenklingen som beregning av gjennomsnittlig mestringsnivå innebærer, kan føre til at resultatene 30 Bimodal fordeling: Elevene er konsentrert i to grupper rundt to punkter på resultatskalaen, det ene vil ofte være noe under gjennomsnittet, mens det andre er noe over gjennomsnittet. Dette kan være tilfelle ved skoler eller mindre kommuner der det er store forskjeller mellom elevene med hensyn til sosial bakgrunn. 158

161 som presenteres på Skoleporten i noen tilfeller kan være direkte misvisende i forhold til gruppens faktiske gjennomsnittlige prøveresultat. Tabell 8.2 Tre eksempler på beregning av gjennomsnittlig poengsum på nasjonale prøver og beregnet gjennomsnittlig mestringsnivå. Prøveresultat Skole A Skole B Skole C 0 poeng 7 20 poeng poeng poeng poeng poeng 7 7 Sum (N=) Snitt poeng Nivå Nivå Nivå Sum (N=) Snitt nivå 2,2 1,7 2,3 Den andre viktige kilden til tilfeldig variasjon når man sammenlikner fra år til år innenfor samme skole eller kommune, er at man sammenlikner ulike elevgrupper som ikke nødvendigvis har de samme forutsetningene for å oppnå gode prøveresultater. Jo mindre elevgruppene man sammenlikner er, jo større er sannsynligheten for at tilfeldighetene kan spille inn når det gjelder hvor mange særlig sterke eller svake elever man har i hvert elevkull, sammenliknet med året før. Resultatet kan da være korrekt nok for elevgruppa det gjelder, men det sier ikke noe om hvordan skolen har arbeidet for å utvile elevenes ferdigheter. Det samme gjelder andre tilfeldige utslag som kan ha betydning for prøveresultatet det enkelte år, som at en skole hadde tekniske problemer med gjennomføringen, at elevene ble oppmuntret til å bruke hele tiden som var avsatt til prøven det ene året, men ikke det andre, at mange elever nettopp hadde vært borte fra skolen på grunn av influensa og ennå ikke var skikkelig restituert og så videre. Dette er forhold som den enkelte skoleleder kan kjenne til som forklaring på et godt eller dårlig resultat, men det er ikke gitt at naboskolen, skoleeier eller lokalavisa kjenner til dette når de sammenlikner offentliggjorte resultater fra skoler eller kommuner der feilmarginene dessuten ikke er oppgitt. Det kan også spille inn at prøvene ikke er like fra år til år, og dermed kan sammenlikning mellom år i utgangspunktet være problematisk. Det advares mot slike sammenlikninger i Retningslinjene (s. 21), men utvikling over tid er nettopp det som det fokuseres på i bruken av resultatene. Er det forbedring å spore siden i fjor? Klarer vi å opprettholde den positive utviklingen? På nasjonalt nivå eller i store kommuner vil slike forbehold om sammenlikninger over tid i praksis ikke spille noen vesentlig rolle, fordi tilfeldigheter som gir effekter i ulike retninger i stor grad vil utligne hverandre. Dette er en viktig forklaring på at samtlige prøveresultater for femte trinn i Oslo kommune som er offentliggjort på Skoleporten de siste fem årene ligger mellom 2,0 og 2,2 og at alle endringer i positiv retning har blitt etterfulgt av status quo eller en tilsvarende endring i negativ retning, og motsatt. Når den støyen som tilfeldighetene representerer dempes, ser vi at det ikke er noen endringer av betydning fra ett år til det neste. 159

162 8.4 Hvilke tall kan sammenliknes? I veiledningene som kan lastes ned fra «Skoleporten» 31 advares det både mot usikkerheten i resultatene og mot å foreta sammenlikninger med andre resultater enn de nasjonale. Helt konsekvent er man likevel ikke når det kommer til sammenlikninger: Skoler, kommuner og fylker kan vurdere egne resultater på de ulike prøvene ved å sammenlikne egen fordeling på mestringsnivåer, gjennomsnitt og standardavvik med nasjonalt nivå. For eksempel kan man se på om eget gjennomsnitt er høyere eller lavere enn det nasjonale gjennomsnittet, og om dette varierer mellom de ulike prøvene. I tillegg vil det å se på standardavviket for de ulike prøvene opp mot standardavviket for nasjonalt nivå, gi informasjon om spredningen i elevenes resultater for egen skole, kommune eller fylke er større eller mindre enn den er for nasjonalt nivå. I tillegg kan man sammenligne gjennomsnitt, standardavvik og fordelingen på ulike mestringsnivåer i egen kommune eller eget fylke med andre kommuner/fylker. Den fastsatte prosentfordelingen på nasjonalt nivå er tilnærmet lik som tidligere år. Kommuner og fylker kan dermed vurdere eget gjennomsnitt og egen fordeling på mestringsnivåer sett opp mot nasjonalt nivå, sammenlignet med tidligere år. Det frarådes å sammenlikne skoler, mens veiledningen åpner for sammenlikninger mellom fylker og kommuner og da også over tid. Det er vanskelig å se noen saklig grunn for dette skillet. Det er usikkerheten rundt resultatene som er det største problemet når det gjelder sammenlikninger innenfor samme nivå eller mellom nivåer. Så lenge feilmarginen ikke er oppgitt, har brukerne av tallene på «Skoleporten» uansett ikke gode nok holdepunkter for å tolke eventuelle forskjeller. Er forskjellene holdbare, statistisk sett, eller kan de være et resultat av tilfeldigheter? Hvis feilmarginene derimot er kjent, er det ingen saklig grunn til å fraråde sammenlikninger, selv om man selvsagt fortsatt må ta viktige forbehold i tolkningen av eventuelle forskjeller. Når man åpner for at skoleresultater kan sammenliknes med nasjonale resultater, åpner man i realiteten for at skoler også kan sammenliknes seg imellom. Hvis skole A har et resultat som ligger under landsgjennomsnittet, og forskjellen er statistisk signifikant, samtidig som skole B på samme måte har et resultat som ligger over landsgjennomsnittet, er det gitt at skole B har et bedre resultat enn skole A. Ut fra dette blir det også vanskelig å argumentere mot sammenlikninger av årsresultater. Hvis skole A har et resultat som er under landsgjennomsnittet i år 1, mens resultatet er over landsgjennomsnittet i år 2, så har skolen forbedret sin plassering i forhold til landsgjennomsnittet. At landsgjennomsnittene ikke nødvendigvis er helt sammenliknbare fra år til år, er av underordnet betydning, så lenge det er skolens relative plassering det er snakk om. 8.5 Et forslag til alternativ presentasjon Vårt utgangspunkt er at nasjonale prøver måler det de skal måle på en god måte. De måler elevenes grunnleggende ferdigheter, men de måler ikke kvaliteten på den undervisningen skolen gir. Prøveresultatene for elevene plasseres på fingraderte skalaer som kan gi presis informasjon om gruppegjennomsnitt. Denne informasjonen forenkles så til tre eller fem mestringsnivåer og ut fra denne forenklede fordelingen beregnes et gjennomsnitt. Det er siste trinn i denne bearbeidingen vi finner særlig betenkelig, fordi informasjonen blir mindre presis og dessuten kan bli misvisende, særlig når tall for små grupper presenteres. Vi ser derimot ikke noe betenkelig ved å presentere søylediagrammer som viser prosentfordeling på mestringsnivåene. Riktignok kan bruken av desimaler for prosenttallene gi inntrykk av større presisjon enn det materialet fortjener, særlig med tanke på hvor mange små kommuner og skoler vi har Lastet ned

163 Gjennomsnittlig mestringsnivå kan med fordel erstattes med gjennomsnittet av de opprinnelige prøveresultatene som er et langt mer presist mål. Dette gjennomsnittstallet kan standardiseres slik at landsgjennomsnittet fortsatt er 2,0 for femte trinn og 3,0 for ungdomstrinnene, og ytterpunktene for skalaene er som før. Standardavviket vil imidlertid kunne påvirkes av en slik standardisering. I stedet for (eller i tillegg til) standardavviket oppgis den statistiske feilmarginen for hvert enkelt resultat sammen med gjennomsnittsverdien. Dette vil for en skole med 50 elever på femte trinn for eksempel kunne være 1,8 +/- 0,2, mens det på nasjonalt nivå vil være 2,0 +/- 0,0. Det vil da framgå at skolen det gjelder har et resultat som er helt på grensen til å være lavere enn landsgjennomsnittet. Antallet elever som er grunnlaget for den enkelte beregning oppgis sammen med prosentfordelinger og gjennomsnittsverdier. 8.6 Oppsummering Aggregerte resultater fra nasjonale prøver på kommune- og skolenivå når brukerne og offentligheten i en forenklet form og uten angivelse av statistiske feilmarginer. I noen tilfeller kan forenklingen av resultatene gi et misvisende bilde i forhold til de faktiske prøveresultatene som ligger til grunn for tallene. Det er en ekstra stor utfordring at Norge har så mange små skoler og kommuner. For disse vil slike forenklede tall være forbundet med ekstra stor statistisk usikkerhet og dermed reduseres nytten av tallene. De nødvendige forbeholdene som må tas i forbindelse med tolkningen av tallene når dessverre ikke alltid offentligheten. Tallene kan dermed gi et unyansert bilde av virkeligheten. Dette er uheldig for brukerne, enten dette er skoleledere, skoleeiere, politiske beslutningstakere eller media. Dårlige resultater som presenteres uten forbehold kan utgjøre en unødig belastning for de som jobber i skolen, elevene og de foresatte. Vi forutsetter at nasjonale prøver måler elevenes ferdigheter på en fullt ut tilfredsstillende og faglig forsvarlig måte. Det er derfor ikke prøvene vi reiser kritikk mot, men måten resultater for skoler og kommuner kan bli presentert på. Dette kan det gjøres forbedringer i og vi foreslår derfor at de faktiske prøveresultatene brukes som grunnlag for beregninger av gjennomsnittsresultater og at feilmarginene som er knyttet til resultatene alltid presenteres sammen med dem. 161

164

165 9 Nasjonale prøver oppsummering og avsluttende drøfting I kapittel 3-7 i denne rapporten har vi gjort rede for resultatene av vår datainnsamling om nasjonale prøver fra statlig nivå (Utdanningsdirektoratet), kommunenivå (skoleeier), skolenivå (skoleleder, lærere og elever) samt et mindre utvalg foresatte. I rapportens datagrunnlag inngår også rapporter fra utdanningsavdelingene hos fylkesmennene. Vi har sett at det er forskjeller mellom barne- og ungdomsskoler, at det er forskjeller mellom store og små kommuner og at det er forskjeller mellom det sentrale Østlandsområdet og resten av landet når det gjelder arbeid med nasjonale prøver. Barneskoler arbeider mer med prøvene enn ungdomsskoler, store skoler arbeider mer med prøvene enn små skoler, og skoler på det sentrale Østlandsområdet arbeider mer med prøvene enn skoler i resten av landet både når det gjelder forberedelser og bruk av resultater fra prøvene. I dette kapittelet skal vi bruke dataene fra kapittel 3-7 for å besvare oppdragets forskningsspørsmål. Disse spørsmålene ble presentert i kapittel 1: Hva slags kanaler benyttes mellom alle leddene i systemet for å informere om nasjonale prøver, og hva er hovedinnholdet i denne informasjonen? Hvordan foregår veiledningen mellom de ulike leddene i systemet for å øke kunnskapen og kompetansenivået om nasjonale prøver, og i hvilken grad er denne veiledningen formalisert? Hvilke kontrollrutiner er etablert mellom nivåene i forberedelsen, gjennomføringen og etterarbeidet med nasjonale prøver, og hvordan følges kontrollen opp på de ulike nivåene? Hvordan arbeider skolene med å forberede elevene til prøvene? Hvordan arbeider skolene med gjennomføringen av prøvene? Hvordan brukes resultatet fra prøvene? Hvilken funksjon har prøvene som skolepolitisk styringsverktøy og ansvarliggjøring av skoler og skoleeiere? Hvilken funksjon har prøvene som pedagogisk verktøy og utvikling av elevenes skoleresultater? I det følgende skal vi oppsummere svar på disse spørsmålene under våre tre hovedoverskrifter som handler om henholdsvis a) informasjon, veiledning og kontroll, b) forberedelse og gjennomføring av prøvene, og c) bruken av resultater fra prøvene. I tillegg gjør vi en egen diskusjon av de to siste delspørsmålene om prøvenes funksjon i siste del av kapittelet 163

166 9.1 Oppsummering: informasjon, veiledning og kontroll Det statlige nivåets informasjon, veiledning og kontroll I kapittel 3 så vi hvilke dokumenter som er tilgjengelige for skoleeiere, skoleledere, lærere og foreldre/foresatte, og som informerer om nasjonale prøver. I all hovedsak er informasjonen nettbasert, selv om flere av dokumentene også sendes ut til skoler for distribusjon blant lærere og foreldre. Utdanningsdirektoratet står slik i direkte kontakt med skoleeiere, skoleledere og lærere, og direktoratet får ofte henvendelser fra skoleledere eller lærere med spørsmål om administrasjon og gjennomføring av prøvene. Henvendelser fra skolene og skoleeiernivået skal imidlertid først og fremst gå tjenestevei, det vil si at skolene skal rette spørsmål til skoleeier, og skoleeier skal rette spørsmål til fylkesmannens utdanningsavdeling. Vi vet ikke omfanget av spørsmål som rettes tjenestevei, men har registrert gjennom intervjuer i Utdanningsdirektoratet at informasjon og spørsmål ikke nødvendigvis går innom fylkesmannsnivået. Rapporter fra fylkesmennenes utdanningsavdelinger viser også at noen av disse embetene ikke har formalisert kontakten med skoleeiernivået med hensyn til nasjonale prøver. Hovedinnholdet i informasjonen fra Utdanningsdirektoratet varierer med målgruppen for informasjonen. Skoleeiere og skoleledere har tilgang til (men må ikke nødvendigvis sette seg inn i) Rammeverket for nasjonale prøver. Målgruppen for dette dokumentet er primært Kunnskapsdepartementet, Utdanningsdirektoratet selv og prøveutviklere/kvalitetssikrere av prøvene. Rammeverket regulerer rollefordelingen mellom de ulike aktørene på statlig nivå, angir noen overordnede regler for gjennomføring (som at elever må sitte i klasserommet til prøvetiden er over) og drøfter i noen grad prøvenes hovedformål og funksjon. I Rammeverket presenteres prøvene først og fremst som et styringsverktøy for nasjonale, regionale og lokale utdanningsmyndigheter, og det anbefales samtidig at skolene benytter seg av andre kartleggingsverktøy for å få mer informasjon om enkeltelevers ferdigheter. Veiledningen til skoleeiere og skoleledere med retningslinjer for gjennomføring (Retningslinjene) angir helt spesifikke oppgaver og ansvarsområder for disse to nivåene. Her får skoleeierne og skolelederne pålegg om hva de skal gjøre og hva som må være på plass før, under og etter gjennomføringen av prøvene, inkludert regelverk for påmelding, fritak og registrering av deltakelse etter at prøven er gjennomført. Det blir vektlagt at prøvene skal bidra til å styrke skolenes og lærernes underveisvurdering, samtidig som det blir understreket at prøvene bare gir et lite bilde av elevenes ferdigheter og kompetanse (Retningslinjene s. 4). Resultatene må derfor ses i sammenheng med annen relevant informasjon om skolen, kommunen og elevene. Veiledningene til lærerne vektlegger i all hovedsak de mulighetene som prøvene gir lærerne i arbeidet for å fremme elevenes læringsarbeid. Her er det få henvisninger til det formelle regelverket, selv om det også her nevnes at elever skal sitte i klasserommet til prøvetiden er ute. Det appelleres i større grad til lærernes ansvarsfølelse og interesse i å utvikle pedagogiske virkemidler ved skolen og gi elevene tilbakemeldinger som kan styrke læringsarbeidet. Veiledningene angir hvordan lærere kan arbeide som kollegium for å lære av resultatene, og hvordan de kan gi tilbakemeldinger til grupper av elever og enkeltelever alt med utgangspunkt i mestringsnivåer. Foreldrebrosjyren fremholder at nasjonale prøver skal vurdere hvordan skolen lykkes med å utvikle elevens grunnleggende ferdigheter, og at «prøvene kan komme til nytte i den enkelte elevs utvikling i samarbeid mellom lærer, elev og foresatte». Brosjyren informerer om reglene for fritak, rutiner for forberedelser av prøvene og hvordan resultatene vil bli kommunisert. Veiledning mellom Utdanningsdirektoratet og skoleeier-, skoleleder- og lærernivået består av de overnevnte dokumentene, samt at Utdanningsdirektoratet også stiller seg tilgjengelig for veiledning på telefon. Rapportene fra fylkesmannsembetene viser at også disse embetene mottar en del henvendelser fra skoleeiere og skoler om nasjonale prøver, men noen av embetene skriver også i rapportene at de ikke har kjennskap til hvordan prøvene administreres og gjennomføres blant skoleeierne som de har ansvar for. Veiledningen mellom Utdanningsdirektoratet og skoleeier, 164

167 skoleleder og lærere synes derfor både godt utbygd og formalisert, mens det varierer mye hvorvidt veiledningen mellom fylkesmannens utdanningsavdeling og skoleeiere/skoler er formalisert. Utdanningsdirektoratet driver i noe utstrekning kontroll av administrasjon og gjennomføring av nasjonale prøver. Direktoratet har tilgang til og gjør bruk av opplysninger om påmeldte elever kontra elever med fritak/status for gjennomføring, og analyserer naturligvis elevenes resultater fra prøvene. Det er nødvendig for direktoratet å purre enkeltskoler for å få registrert elevens status etter gjennomførte prøver. Kontrollen med administrasjon, regelverk og gjennomføring påligger i hovedsak skoleeiernivået (se nedenfor). Fylkesmannsembetene har mulighet til å kontrollere skoleeierne ved tilsyn. Et mindretall av fylkesmannsembetene gjorde nasjonale prøver til gjenstand for tilsyn av kommunenivået i Skoleeiers informasjon, veiledning og kontroll Skoleeiers plikter overfor skolene innebærer at de dels skal sørge for at skolene har nødvendig informasjon om forberedelser til og gjennomføring av de nasjonale prøvene og samtidig sørge for at skolene faktisk kan gjennomføre prøvene slik Retningslinjene (s. 7) forutsetter. Informasjon og veiledning foregår i 92 prosent av tilfellene gjennom dialog mellom skoleeier og skolelederne, for eksempel i rektormøter, mens halvparten av skoleeierne i tillegg veileder gjennom brev og rundskriv til skolene. Et gjennomgående trekk ved våre funn er at skoleeiere i store kommuner viser større aktivitet i dette arbeidet enn det som er tilfelle for små kommuner. Det vanligste innholdet i informasjonen og veiledningen fra skoleeier til skole er hensikten med nasjonale prøver, som 79 prosent av kommunene nevner, råd om bruk av resultatene (73 prosent) og forvaltning av fritaksbestemmelsene (68 prosent). Det minst vanlige er teknisk veiledning om hvordan skolene og elevene skal bruke datateknologi i tilknytning til prøvene. Med det fokuset som har vært på bruk og offentliggjøring av resultater på skole- og kommunenivå og praktisering av fritaksbestemmelsene, er det ikke overraskende at dette nevnes av svært mange som en viktig del av informasjonen og veiledningen fra skoleeier. Derimot ser vi et mulig misforhold mellom den relativt lave andelen av skoleeierne som trekker fram teknisk veiledning av skolene og de signalene vi har mottatt fra en del skoleledere og mange lærere om tekniske problemer med å gjennomføre prøvene. Nesten halvparten av lærerne forteller om problemer med det tekniske utstyret på skolen. Det kan derfor være grunn til å stille spørsmål ved om skoleeierne i ønsket grad har sørget for «at skolene har tilstrekkelige tekniske og menneskelige ressurser til å kunne gjennomføre nasjonale prøver etter føringene i veiledningen.» (Retningslinjene s. 7). En tydelig forskjell etter kommunestørrelse tyder på at skoler i små kommuner risikerer å komme spesielt dårlig ut i forhold til dette punktet. Påmelding til nasjonale prøver er skolenes ansvar, men skoleeier «skal se til at» elevene i kommunen er påmeldt. Dette gjøres først og fremst ved at skoleeier minner skolene om reglene for påmelding og for flertallet av kommunene også gjennom veiledning i regelverket. Snaut halvparten av kommunene kontrollerer at reglene blir fulgt, mens bare en håndfull foretar påmeldingen på vegne av skolene. Det er en mulig uklarhet i veiledningen til skoleeiere og skoleledere knyttet til påmelding og praktisering ved at begrepet «alle aktuelle elever» brukes i en tabell som oppsummerer skoleeiers og skoleleders oppgaver (Retningslinjene s. 7). Veiledningsteksten er ellers klar nok på dette punktet og fastslår at alle skolens elever skal meldes på, og at vurderingen av eventuelle fritak fra prøvene er neste trinn i prosessen. Fritak av elever fra prøvene kan bare vurderes dersom det allerede foreligger et enkeltvedtak, enten om spesialundervisning eller om særskilt språkundervisning. For at skolene skal praktisere fritaksreglene i tråd med veiledningens tekst og intensjon, er det av avgjørende betydning at skoleeier informerer og veileder skolene om dette. Fire av fem skoleeiere minner skolene om reglene, tre av fem veileder dem i regelbruken, mens bare en av tre kontrollerer at reglene blir fulgt. Det er betydelig forskjell mellom små og store skoler i andelen som sier at de veileder skolene, slik at bare en av tre små kommuner gir slik veiledning. Dermed løper skoler i små kommuner en større risiko enn skoler i store kommuner for å følge en praksis som ikke harmonerer 165

168 med regelverket. Dette inntrykket bekreftes av at større kommuner beskriver en tettere oppfølging og dialog med skolene om dette. Når bare en av tre kommuner svarer at de kontrollerer at skolene har fulgt reglene for fritak og at eventuelle enkeltvedtak om fritak er korrekt utferdiget, er dette utrykk for en ganske omfattende delegering av ansvar til skolene. En slik delegering må bygge på at skoleeier mener at skolene kjenner regelverket godt nok slik at de kan forutsette at praksisen er forsvarlig og i tråd med regelverket. De skoleeierne som kontrollerer sine skoler oppgir for eksempel at de tar stikkprøver gjennom tilsyn på vedtak. Etter at prøvene er gjennomført skal skoleeier se til at alle resultatene fra leseprøvene blir registrert innen fristen og at antallet elever som er registrert i PAS stemmer overens med det reelle elevtallet på skolene (Retningslinjene s. 14). Ettersom det praktiske arbeidet i etterfasen foregår ved skolene, vil skoleeier her først og fremst ha en informasjons-, veilednings og kontrollfunksjon, mens det i liten grad vil dreie seg praktiske arbeidsoppgaver utover dette. To av tre skoleeiere minner skolene om reglene for registrering av elevstatus, halvparten veileder skolene om reglene og en av tre kontrollerer at skolene følger reglene. Også her finner vi en systematisk forskjell mellom små og store kommuner, ved at store kommuner er mye tettere på skolene i denne fasen, mens skoler i mindre kommuner i betydelig større grad ser ut til å være overlatt til seg selv Skoleleders informasjon, veiledning og kontroll Skoleleder har en rekke oppgaver knyttet til informasjon, veiledning og kontroll av arbeidet med nasjonale prøver. De skal sørge for at elevene blir påmeldt, de skal selv kjenne til Retningslinjene, lærerveiledningen og eksempeloppgavene og de skal sørge for at lærerne kjenner innholdet i disse. De skal se til at prøvene gjennomføres i tråd med regelverket og sørge for å holde foresatte informert. Dessuten plikter de å være oppdatert på viktig informasjon og være tilgjengelig for lærerne når de trenger hjelp og støtte. Slik veiledning og regelverk er utformet, er det ingen særlig tvil om at det er skoleleder som sitter med hovedansvaret både for forberedelser til og gjennomføring av prøvene. Likevel sier det seg selv at mange oppgaver må delegeres til lærerne. Dette gjør skoleledernes kontrollfunksjon sentral. Fem av seks skoleledere sørger for påmelding av elevene til nasjonale prøver på skolens vegne. Når vi går bak dette høye tallet og ser hva skolelederne svarer om lærernes funksjon i forbindelse med påmeldingen, viser det seg at de fleste involverer lærerne både ved at de minner dem om regelverket for påmelding, veileder dem i reglene og kontrollerer at regelverket blir fulgt. Det er særlig ved små skoler at skoleleder står for hele påmeldingsjobben selv, mens lærerne involveres i større grad ved de store skolene. Ettersom veiledningen sier at alle elever skal meldes på, skal påmeldingsjobben skilles fra jobben med fritak. Dermed skal det strengt tatt bare gjenstå å fastslå hvem som er elever ved skolen og hvem som ikke er det. Dette kan forutsette involvering av enkeltlærere, særlig ved store skoler og særlig fordi prøvene er lagt til starten av skoleåret. En annen form for delegering av oppgaven med påmelding er at assisterende rektor eller en person med administrative funksjoner får et ansvar for påmeldingen. Rektors oppgave blir da å sette vedkommende inn i hvordan oppgaven skal utføres og kontrollere at arbeidet gjøres i tråd med retningslinjene. Det er skoleleder som skal fatte eventuelle enkeltvedtak om fritak fra prøvene i samråd med lærerne. Regelverket for fritak er formulert slik at det i liten grad kan misforstås og det åpner heller ikke i særlig grad for skjønn. For at det i det hele tatt skal komme på tale å vurdere en elev for fritak, må det på forhånd foreligge enkeltvedtak enten om spesialundervisning (Opplæringslovens 5-1) og/eller rett til særskilt språkopplæring for språklige minoriteter (Opplæringslovens 2-8). Dette er absolutte krav og det åpnes ikke for bruk av skjønn i dette, selv om skoleledere eller lærere kan ha svært gode grunner for å mene at enkeltelever som ikke har slikt enkeltvedtak likevel bør fritas. Derfor henvender enkelte skoleledere som befinner seg i en slik situasjon direkte til Utdanningsdirektoratet for å undersøke om det likevel kan finnes en mulighet for å vurdere slike elever for fritak. Det vises da til at regelverket ikke åpner for dette. 166

169 Praktisk talt alle skoleledere mener at de har god kjennskap til regelverket som gjelder for fritak fra nasjonale prøver og 80 prosent mener at reglene er klare og entydige, selv om en av fem mener de kan trenge mer veiledning i regelverket. Det er altså ikke forståelsen av regelverket som er problemet for en del skoleledere, men måten reglene er utformet på og det svært begrensede rommet de gir for bruk av skjønn. En del skoleledere peker på at elever med dysleksi kommer i en særlig vanskelig stilling når de ikke på forhånd er omfattet av et enkeltvedtak. På den annen side ønsker mange skoleledere å inkludere flest mulig av elevene i prøvene, også de som har enkeltvedtak. Dette kan dels være motivert ut fra at de gjerne vil ha en status for skolen som er mest mulig reell og gjelder for flest mulig av skolens elever, eller de kan føle et press fra skoleeier om å inkludere flest mulig. Vårt inntrykk fra de kvalitative intervjuene og fra de åpne tekstfeltene i de digitale spørreundersøkelsene blant skoleledere og lærere er snarere at skolene forsøker å få med flest mulig av elevene i de nasjonale prøvene, enn at de ønsker å frita flest mulig. Vi nærer derfor en større bekymring for at enkeltelever kan komme til å bli utsatt for en unødig hard belastning ved å måtte gjennomføre en prøve som vil gi dem nok en bekreftelse på at de ikke strekker til, enn at skoler fritar svake elever for å oppnå et bedre samlet resultat. Etter at prøvene er gjennomført skal skoleleder sørge for at alle resultatene fra leseprøvene blir registrert innen fristen, at elevene er registrert med riktig elevstatus og at antallet elever som er registrert i PAS stemmer med det reelle elevtallet på skolen (Retningslinjene s.14). Her brukes altså ikke begrepet «alle aktuelle elever» som ble brukt for å beskrive oppgavene i forbindelse med forberedelsene til prøvene, men «det reelle elevtallet». Det kan nok være en fordel å bruke samme begreper slik at det ikke hersker noen tvil om hva som menes, nemlig alle som er registrert som elever ved skolen. Halvparten av skolelederne svarer at de sørger for registrering av elevstatus etter prøvene. Dette kan ikke uten videre tolkes som at de selv gjør dette arbeidet. En slik antakelse styrkes ved at to av tre minner lærerne om disse reglene, drøyt halvparten veileder lærerne om reglene og 60 prosent kontrollerer at lærerne følger reglene. Skolelederne trekker med andre ord lærerne inn i denne delen av etterarbeidet. Vi kan også gå ut fra at en del overlater denne jobben til andre med lederfunksjon eller merkantilt personale, slik det er tilfelle med registrering i forbindelse med forberedelsene til prøvene. «Å sørge for at» betyr dermed å ha ansvar for at jobben blir gjort, og ikke nødvendigvis å gjøre den selv Lærere om informasjon, veiledning og kontroll Hovedinntrykket fra lærersurveyen og intervjuer med lærere er at lærerne er svært opptatt av å sette seg inn i nasjonale prøver og være godt forberedt, og dermed skaffe seg informasjon og veiledning om prøvene. Videre viser begge datakilder at de i stor grad får informasjon om prøvene fra nettet, og da fremfor alt fra materiale utarbeidet av Utdanningsdirektoratet. Mange av dem søker også selv etter informasjon på nettet, eventuelt etter å ha fått beskjed fra skoleleder om hvor informasjonen finnes. Slik ser det ut til at skoleledere forvalter sitt ansvar for å sørge for at lærerne er kjent med lærerveiledninger og eksempeloppgaver på Utdanningsdirektoratets sider. Lærerne er også i hovedsak fornøyde med informasjonen som ligger på nettet, selv om dette inntrykket nyanseres når det gjelder bruken av resultatene fra prøvene. Majoriteten av lærerne synes at de får tilstrekkelig informasjon og veiledning til å kunne administrere prøvene. Det er det få lærere som sier at de har fått tilbud om kurs i forbindelse med nasjonale prøver, og det kan også virke som om det begrensede tilbudet av kurs som det her rapporteres om, er svært ujevnt geografisk fordelt. En større andel lærere i Oslo og Akershus oppgir at de har deltatt på kurs. Skoler eller skoleeiere som har nærhet til universiteter og høgskoler, og særlig til fagmiljøene som utvikler prøvene, kan ha et bedre kurstilbud enn skoler som er lenger unna slike utdanningsinstitusjoner. Lærerne mener selv at de har tilstrekkelig informasjon og får nok veiledning til å kunne administrere de nasjonale prøvene, og dette gjelder både for leseprøven på papir og de to prøvene som administreres digitalt. Det ser dermed ut til at informasjonsstrømmene fungerer forholdsvis godt, og at lærerne, 167

170 dersom de ser at de trenger mer informasjon, skaffer seg slik informasjon selv. Enkelte lærere mener at regelverket har mangler og uklarheter, særlig med tanke på tilrettelegging for svake elever. Lærerne er særlig opptatt av informasjon om prøvenes hensikt og hvordan de kan bruke resultatene i samtaler med elevene. Lærerne er i liten grad involvert i påmelding av elever til nasjonale prøver, siden dette primært er en administrativ oppgave som skoleleder tar seg av. Derimot er lærerne på mellomtrinnet ofte involvert i fritak, det vil si å vurdere hvilke elever som har enkeltvedtak om spesialundervisning og/eller særskilt norskopplæring for elever med minoritetsspråklig bakgrunn som skal fritas for en eller flere av de nasjonale prøvene. Lærerne på ungdomstrinnet er ikke like ofte involvert i fritak. Dette kan henge sammen med at elevene er nye for dem og at de derfor ikke har særlige forutsetninger for å vurdere hvilke elever som skal fritas. Retningslinjene slår imidlertid fast at skoleleder skal vurdere fritak i samarbeid med lærere Elever og foresatte om informasjon, veiledning og kontroll På elevnivå har vi gjennom intervjuer med elever på 8. trinn sett at disse elevene forteller at de har fått vite at de nasjonale prøvene ikke er innrettet mot å måle dem som enkeltindivider, men at prøvene er et testredskap for å måle hvor god skolen er sammenlignet med andre skoler i kommunen eller landet. Ifølge disse elevene måler prøven derfor hva elevene kan som gruppe, og skal eventuelt fortelle læreren hva han eller hun kan gjøre for å bli en bedre lærer og hva elevene bør lære i fremtiden. Her får prøvene et blandet preg av å være et styringsredskap og et pedagogisk kartleggingsverktøy på gruppenivå, og ikke noe som vil komme den enkelte elev direkte til gode. Dette stemmer med prøvenes intensjoner slik dette er uttrykt i Rammeverket og Retningslinjene. Det viser også at lærerne formidler informasjon om prøvene slik de er anbefalt å gjøre i møte med elevene. På bakgrunn av intervju med lærere kan det likevel se ut som om nedtoningen av testaspektet kan påvirke elevenes motivasjon for å yte sitt beste under prøvene. Samtidig som elevene gir uttrykk for at prøvene ikke skal måle dem som individer, er det flere av dem som sier at de gjerne vil vite hvordan det har gått på prøvene slik at de kan gjøre det bedre i fremtiden. Disse to utsagnene fra elevene at prøvene egentlig ikke måler dem, men at de samtidig vil vite hva de kan bruke prøvene til, illustrerer den innebygde motsetningen i de to målsettingene som prøvene søker å oppfylle, der tilbakemeldingen til den enkelte elev er det som må vike til fordel for prøvene som målings- og styringsredskap. Den samme målkonflikten når det gjelder bruken av resultatene fra prøven finner vi hos lærerne i spørreundersøkelsen og intervjuene. 9.2 Oppsummering: Forberedelse og gjennomføring av prøvene Statlig nivå om forberedelse og gjennomføring av prøvene. Det er i hovedsak Retningslinjene som angir hvordan skoleeiere, skoleledere og lærere skal forholde seg til forberedelse og gjennomføring av prøvene. Regelverket som styrer påmelding av elever, fritak av elever og registrering av elevstatus etter gjennomføring av prøvene er formalisert, selv om fritaksbestemmelsene gir rom for skoleledernes og lærernes egne vurderinger innenfor gitte rammer. Det oppgis også i Retningslinjene at det kan tilrettelegges for elever med særskilte behov under prøvesituasjonene, men disse reglene synes ikke å være uttømmende i omtalen av hva slags problemer en elev kan tenkes å ha, eller hvordan det kan tilrettelegges slik at skolen legge[r] den enkelte elevs behov til grunn for spesielle ordninger (ibid.: 10). Gjennom Retningslinjene og veiledningene til lærerne opplyser Utdanningsdirektoratet at det finnes eksempeloppgaver og enkelte gamle nasjonale prøver på nett, men det diskuteres ikke i dokumentene hvor mye det er tilrådelig å øve. Det understrekes imidlertid at elevene bør gjøres kjent med prøvesituasjonen. Gjennom intervju i Utdanningsdirektoratet har vi erfart at det oppfattes som positivt at skolen lar elevene øve til prøvene, samtidig som det finnes en grense der hvor skolen endrer sine prioriteringer betydelig eller lar øving til prøvene fortrenge annen undervisning. 168

171 9.2.2 Skoleeiers arbeid med forberedelse og gjennomføring Selv om Retningslinjene for nasjonale prøver sier at skoleeier skal sørge for at gjennomføringen av nasjonale prøver i kommunen er i tråd med de retningslinjene, overlates det meste av arbeidet i praksis til skolene i forberedelser og gjennomføring av prøvene. Skoleeier skal imidlertid også være tilgjengelig for skoler når de trenger veiledning og støtte til å forberede gjennomføringen. Vi har spurt kommunene om de tilbyr skolene kurs eller seminar som en støtte i forberedelsene. En av fem kommuner gjør dette, men denne andelen er fem ganger så høy i store kommuner som i små, 40 prosent mot åtte prosent. Dermed ser vi nok et eksempel på at skoler i små kommuner i større grad enn skoler i store kommuner risikerer å være dårligere forberedt til prøvene. Det er uvanlig at kommunene utarbeider eget informasjonsmateriell til elever eller foresatte, bare 8-9 prosent gjør dette. Enda mer uvanlig er det at kommunene utarbeider eget øvingsmateriell for nasjonale prøver. Tiden som går med til forberedelser til nasjonale prøver har vært et sentralt tema i offentlig debatt om nasjonale prøver. Vi har spurt skoleeierne om hvem som avgjør hvor mye tid skolene skal bruke på forberedelser til nasjonale prøver. Bare fem prosent av skoleeierne mener at det er dette nivået som bestemmer, mens 85 prosent mener at det er skolene som bestemmer hvor mye tid som skal brukes til forberedelse. Selv om det altså finnes noen spredte eksempler på skoleeiere som bekrefter at de legger sterke føringer på hvordan skolene skal arbeide i forberedelsen til prøvene, er dette langt fra den situasjonen som gjelder på landsbasis, Skoleeierne synes å ha et ganske nøkternt forhold til det arbeidet de legger ned for å styrke skolene i deres forberedelser til nasjonale prøver. 39 prosent mener at de legger ned mye arbeid i dette, mens omtrent like mange ikke er enig at dette i særlig grad er tilfelle. Igjen finner vi en sterk sammenheng med kommunestørrelse. Mens bare 18 prosent av de minste kommunene er enig i at det legges ned mye arbeid i dette, mener 62 prosent av de største kommunene at dette tilfelle. Skoler i store kommuner kan dermed forvente en betydelig større grad av engasjement fra skoleeiers side enn skoler i små kommuner Skoleleders arbeid med forberedelse og gjennomføring Det er en del variasjon i hvordan skolelederne opplever at arbeid med forberedelsene til nasjonale prøver griper inn i skolehverdagen. Mens omtrent en av fem bekrefter i spørreundersøkelsen at undervisning legges opp spesielt med tanke på nasjonale prøver, er drøyt halvparten uenig i en slik påstand. Et flertall mener derimot at forberedelser til nasjonale prøver er integrert i undervisningen gjennom hele skoleåret. På den annen side svarer også 60 prosent at elevene forberedes ekstra til nasjonale prøver i tiden før prøvene, og 16 prosent oppgir at det hender at annen undervisning settes til side for å øve til nasjonale prøver. Der hvor elevene forberedes ekstra i tiden før prøvene, viser analyser av spørreundersøkelsen at det også er en økt sannsynlighet for at annen undervisning settes til side. Det kan dermed bekreftes at forberedelser til nasjonale prøver for noen skolers vedkommende kan ha konsekvenser for hvordan undervisningen organiseres for øvrig, men at dette ikke ser ut til å være det normale i landet sett under ett. Slikt særlig fokus på forberedelser til nasjonale prøver ser ut til å være vanligere på barneskoler og 1-10 skoler enn på ungdomsskoler. De kvalitative intervjuene nyanserer imidlertid dette bildet noe, ved at skolelederne legger vekt på at forberedelser til prøvene i første rekke går ut på å gjøre elevene, og særlig elevene på mellomtrinnet, trygge i prøvesituasjonen. 87 prosent av skolelederne forteller at gamle prøver brukes for å forberede elevene til nasjonale prøver, mens bare en av seks har laget eget øvingsmateriell for dette formålet. Eget materiell brukes i størst grad ved barneskoler og ved større skoler og skoler i større kommuner. Skoler i Oslo og Akershus skiller seg ut ved at særlig mange bruker eget materiell, men fortsatt gjelder dette bare en av tre skoler. Også skolelederne er spurt om hvem som bestemmer over tidsbruken i forberedelser til nasjonale prøver. Så godt som ingen skoleledere mener at skoleeier bestemmer dette, og i den grad dette måtte 169

172 være tilfelle, så er det så godt som uten unntak i samarbeid med skolen. Ved en av fire skoler mener skoleleder at lærerne bestemmer over tidsbruken, 14 prosent mener at skoleledelsen bestemmer, mens 44 prosent mener at skolens lærere og ledelse sammen bestemmer over tidsbruk i forberedelser til nasjonale prøver. Andelen som mener at skolens ledelse bestemmer dette alene er betydelig høyere i Oslo enn i resten av landet. Vi har tidligere pekt på at det kan være noe svikt i hvordan skoleeierne skjøtter sine plikter når det gjelder å sette skolene i stand til å gjennomføre den tekniske delen av prøvene og veilede dem i dette. Det er likevel få skoler, bare en av ti, som opplever ikke å ha tilstrekkelig antall datamaskiner og oppdatert maskinvare for å gjennomføre de digitale prøvene. Situasjonen ser ut til å være litt mindre positiv i Midt- og Nord-Norge. Selv om nasjonale prøver helt åpenbart har konsekvenser for hvordan skolene organiserer undervisningen, synes det normale å være at prøvene og arbeidet rundt dem integreres i det samlede arbeidet og ikke at de blir styrende for hvordan undervisningen organiseres totalt sett. Skolene ser i stor grad ut til å ha kontroll med egen tidsbruk, og lærere og skoleledelse bestemmer ofte sammen hvordan dette skal gjøres. Slik skolelederne ser det, skaper heller ikke manglende datautstyr problemer i særlig grad. Nedenfor skal vi imidlertid se at lærerne har et noe annet syn på de tekniske utfordringene i gjennomføringen av de digitale prøvene Lærernes arbeid med forberedelse og gjennomføring Ifølge hoveddelen av lærerne som deltok i surveyen er forberedelsene til nasjonale prøver konsentrert om tiden før prøvene, samtidig som en tredel sier at den er jevnt fordelt over året. Med dette indikerer lærerne at grunnleggende ferdigheter er integrert i undervisningen som en del av arbeidet med kompetansemålene. Her ser vi likevel geografiske forskjeller, ved at lærere i Oslo og Akershus oftere sier at de jobber med forberedelser til prøver gjennom hele skoleåret. Når det gjelder tid brukt på forberedelser til nasjonale prøver, sier lærerne at de i stor grad selv bestemmer hvor mye tid de skal bruke på forberedelser, eventuelt i samråd med andre lærere på skolen. Både fra lærersurveyen og intervjuene med lærere ser vi at det er vanlig å øve til nasjonale prøver, samtidig som lærerne også oppgir i intervjuene at de arbeider jevnt med å styrke elevenes grunnleggende ferdigheter. Øving før prøvene er i tråd med anbefalingene fra Utdanningsdirektoratet, som oppfordrer skoler til å trene på prøver eller deler av prøver, slik at elevene er kjent med oppgaven. Det er også dette som er hovedargumentet for at lærerne øver med elevene, slik at de skal bli kjent med prøveformen og dermed være tryggere i situasjonen slik at de kan yte sitt beste. Det generelle inntrykket er dermed at lærere ikke øver med elevene for å drille dem i visse oppgaver, men at forberedelsene har karakter av å være en tilvenning for at elevene skal vite hvordan prøvene ser ut. Dette kommer i spørreundersøkelsen særlig frem som viktig blant lærere på mellomtrinnet, siden femteklassingene i liten grad har prøvd seg på så lange og krevende prøver tidligere. Derfor mener mange lærere at denne gruppen trenger ekstra støtte før prøven, særlig for at ikke elevene skal grue seg for mye. Øving blir dermed en strategi for å redusere elevenes stress knyttet til prøven, det blir en teknikk for å gjøre at elevene får en bedre opplevelse av å ta prøven. Det ligger sannsynligvis også en tanke om at elever som vet hva de går til, har større sjanse for å gjøre sitt beste enn elever som ikke er kjent med prøveformen eller som gruer seg til situasjonen fordi de vet lite om hva den går ut på. Slik øving vil dermed også kunne påvirke elevenes resultat, i og med at andre feilkilder som dårlige datakunnskaper er luket bort. Det går også frem av spørreundersøkelsen at lærerne på mellomtrinnet er mest opptatt av at elevene opplever at prøven er vanskelig eller at elevene gruer seg til prøven. Lærere som arbeider på ungdomstrinnet er i mindre grad opptatt av dette, men det kan også henge sammen med at de forholder seg til elever som er mer vant med prøver. Kvantitative analyser viser at det er mest vanlig å la elevene øve ved at de får prøve seg på fjorårets test, eller at de bruker annet materiale fra Utdanningsdirektoratets nettsider. Alt dette er materiale som 170

173 er lett tilgjengelig, og som lærerne setter seg inn i når de forbereder seg til å gjennomføre prøvene. Mange, særlig på mellomtrinnet, lar også elevene gjennomføre en hel prøve som om de skulle ta den på ordentlig. Intervjuene og kommentarfeltene fra surveyen viser at årsaken er at lærerne mener at elevene trenger å øve seg på å sitte stille i en prøvesituasjon i 90 minutter, men at dette mest gjelder for elever på mellomtrinnet. Med andre ord handler øvingen ikke bare om å bli kjent med type oppgaver, men også om å bli kjent med selve prøvesituasjonen. Surveyen viser at lærerne i stor grad selv bestemmer hvor mye tid de bruker på forberedelse til nasjonale prøver, og at lærerkollegiet i fellesskap også i noen grad bestemmer hvor mye tid lærerne på skole skal bruke på forberedelser til prøver. Skolens rektor har forholdsvis liten innflytelse på tidsbruken, og kommunen enda mindre. Her ser det ut til at beslutningen om hvor mye tid som skal brukes på forberedelse til nasjonale prøver i stor grad er delegert til lærerne, og at det også er lærerne som gjør prioriteringene av hvordan forberedelsestiden skal brukes. Ved en av fire barneskoler sier lærerne seg likevel enige i at «det er vanlig å redusere undervisning i andre fag for å trene ekstra på grunnleggende ferdigheter i lesing, regning og/eller engelsk i tiden før nasjonale prøver», mens dette knapt forekommer på ungdomsskolene. Intervjuene bekrefter inntrykket av et slikt skille mellom mellomtrinn og ungdomstrinn, men der fremkommer det også at det i hovedsak er matematikktimene som brukes til å øve på regneprøven og at norsktimene brukes til å øve på leseprøven. Lærere som i intervjuene sier at de skyver på andre timer for å øve til nasjonale prøver, er kontaktlærere som har elevene i de fleste av fagene og som dermed har mulighet til å ta igjen timer fag som i musikk eller kunst og håndverk etter at nasjonale prøver er gjennomført. I surveyen fremkommer det også at ikke alle skoler er godt nok rustet til å gjennomføre en digital prøve. Ved omtrent en av fire skoler sier lærerne seg enige i at det er for få pc-er tilgjengelige på skolen, og at dette er et problem når prøvene skal gjennomføres. I tillegg sier 47 prosent av skolene at det har oppstått problemer med det tekniske utstyret på skolen, og at det er en utfordring ved gjennomføring av prøvene. Dette peker på flere typer tekniske problemer, både ved at det er for få pcer på skolen, men også at det utstyret som skolen har ikke har vært godt nok. Vi vet bare litt om hva problemene med det tekniske utstyret ved skolen består i, men ser av kommentarene fra lærersurveyen og fra intervjuene at det for eksempel kan oppstå mye frustrasjon og stress i gjennomføringen av prøvene når elever ufrivillig logges ut under arbeidet eller nettverk eller maskinvare slutter å virke Elever og foresatte om forberedelse og gjennomføring Fra intervjuene med elever på 8. trinn har vi fått bekreftet at de får prøve seg på eksempeloppgaver på skolen og blir vist til eldre prøver som de kan øve seg på via nettet hjemme. Skoleledere og lærere på barneskoler forteller at elevene på 5. trinn i større utstrekning øver seg på prøvene mens de er på skolen. Gjennom observasjonene har vi sett at ikke alle skoler har egnede lokaler for å gjennomføre de digitale prøvene på en god måte. Lokalene kan være lite egnet til å la elevene arbeide skjermet fra andre, og maskinparken kan være gammel. På enkelte skoler skaper dårlig maskinvare og dårlig teknisk forberedelse av prøvene frustrasjoner for både elever og personale. Andre skoler har ansatte som har de tekniske forberedelsene av prøver som del av stillingen, og hvor elevene møter klargjorte og ferdig innloggede pc-er når de starter prøvene. Dette reduserer uro i oppstarten av prøvene. Ved observasjon har vi også sett at elever på 5. trinn kan ha en del spørsmål til læreren både før og under prøvene. Før prøvene handler dette om praktiske forhold ved prøven, som hvor lang den er, hvor mange oppgaver den inneholder, hva de skal gjøre når de er ferdige og hva de skal gjøre hvis det er oppgaver de ikke kan svare på. Vi har også vært til stede i klasserom der elever på 5. trinn har forsøkt å få hjelp fra læreren til å løse oppgaver som de ikke forstår. Læreren har avvist elevene ved å si at han ikke kan gi dem svaret, men at de må gjette hvis de står helt fast. Lærerne har imidlertid forklart enkeltord for elever, og gjerne ved å ta forklaringen i plenum hvis det er mange som har spurt om dette. 171

174 Under observasjonene har vi sett og hørt at det kan oppstå en del uro når elever blir ferdige med prøvene til forskjellig tid, og må sitte i klasserommet eller på datasalen til prøven er ferdig. Skoler løser dette på forskjellig vis, noe også regelverket gir rom for. Vi ser likevel at det kan oppstå mange praktiske forskjeller i prøvesituasjonen for elevene under gjennomføringen og avslutningen av prøvene. Rapportene om elever som gruer seg for prøvene, kommer i hovedsak fra barneskolene. Dette uttrykkes både gjennom spørreundersøkelsene og intervjuene. Her kan det for enkelte elever være vondt å gjennomføre prøvene. Dette vil ofte være elever som i utgangspunktet er svake og som opplever dårlig mestring av skolesituasjonen generelt, eller som har det lærerne kaller «prøveangst». Elevene på 8. trinn sier i intervju at de ikke opplever prøvene som stressende fordi prøvene ikke måler dem som individer, og derfor gruer de seg heller ikke. Utsagnet nyanseres likevel av enkelte elever, som forteller at prøvesituasjoner generelt kan være stressende, og at nasjonale prøver ikke er noe unntak fra dette. De foresatte vi har vært i kontakt med, er tilfredse med informasjonen de har fått fra skolen før gjennomføringen av prøven, og har fulgt noe med på elevenes forberedelser. Foresatte til sterke elever forteller at elevene tar prøvene som en naturlig del av skoledagen, mens foresatte til svake elever forteller at det kan bli en tøff opplevelse av nederlag når elever som vanligvis klarer seg dårlig på skolen, blir satt foran en prøve som inneholder oppgaver som skal være vanskelige for de flinkeste elevene. Disse elevene gruer seg og kan ifølge foreldrene ha det vondt i tiden før og under de nasjonale prøvene. 9.3 Bruken av resultatene Statlig nivå om bruk av resultatene I følge målsetningen for nasjonale prøver skal prøvene gi informasjon til elever, lærere, skoleledere, foresatte, skoleeiere, de regionale myndigheter og det nasjonale nivået som grunnlag for forbedringsog utviklingsarbeid (Rammeverket). Bruken av resultater fra nasjonale prøver omtales imidlertid ulikt i de statlige dokumentene som regulerer nasjonale prøver. I Rammeverket og Retningslinjene, som utgjør det høyeste nivået av Utdanningsdirektoratets styringsdokumenter, er det styringsinformasjonen som prøvene kan bidra med som vektlegges, mens prøvenes verdi i å gi informasjon om elevnivået dempes og nyanseres. Lærernes mulighet til å bruke resultatene fra prøvene til å utvikle og forbedre elevenes læringsarbeid er derimot hovedtema for lærerveiledningene fra Utdanningsdirektoratet. Disse veiledningene toner samtidig ned prøvenes funksjon som styrings- og målingsverktøy for utdanningsmyndighetene. I lærerveiledningene finner vi ikke formuleringene fra for eksempel Rammeverket for prøvene, om at «det er begrensninger for hva en nasjonal prøveordning alene kan forventes å gi detaljert informasjon om» (Rammeverket s. 6). Tvert om innledes lærerveiledningene med at forutsetningene for å kunne bruke prøvene til å utvikle elevenes læringsarbeid er at elevene «får tilbakemeldinger som forteller dem om kvaliteten på arbeidet eller prestasjonen» og «får råd om hvordan de kan forbedre seg.» Vi skal utdype denne spenningen mellom prøvenes funksjon som styringsverktøy og som pedagogisk verktøy i avslutningen av dette kapittelet. Tilbakemeldingene og rådene til elevene skal baseres på beskrivelsene av mestringsnivå som følger veiledningene til prøvene. Lærerveiledningene med utvidet omtale av hvordan resultatene kan brukes i møte med elevene var nye i 2012, uten at innholdet i prøvene var endret. Samtidig ble alle oppgaver i matematikkprøven og deler av engelskprøven holdt hemmelig for lærerne i 2012, fordi oppgavene skal brukes på nytt i kommende år. I fremtiden vil dette gjøre det mulig å sammenligne resultater fra forskjellige elevkull over tid. Alle lærerveiledningene har utfyllende beskrivelser av hvilke prøveresultater som kan sammenlignes, og hvilke aspekter ved resultatene som ikke egner seg til sammenligning. I veiledningene advares det på generelt grunnlag mot å legge vekt på gjennomsnitt der utvalgene av elever er små. I all hovedsak vil det bare være tilrådelig å sammenligne gjennomsnittet av skolens eller kommunens resultater med 172

175 det nasjonale gjennomsnittet, eventuelt utfylt ved en sammenligning av fordeling på mestringsnivå. Det avvises i veiledningene at sammenligning mellom enkeltskoler eller enkeltkommuner kan gi reliabel informasjon, og det har inntil nå ikke vært mulig å sammenligne elevkulls prestasjoner over tid. Unntaket er sammenligning av fordeling på mestringsnivå mellom elever som både har tatt nasjonale prøver på 5. trinn og siden tar nasjonale prøver på 8. trinn Skoleeiers bruk av resultatene Skoleeier er pålagt å følge opp resultatene fra nasjonale prøver på kommunenivå, vurdere om det skal innføres tiltak for å bedre resultatene, vurdere om enkelte skoler trenger særskilt støtte og se til at skolene selv analyserer og bruker resultatene. Retningslinjene (s ) gir skolene og skoleeierne råd og veiledning i hvordan resultatene kan følges opp, og ikke minst rettes det en del advarsler til brukerne om begrensningen ved resultatene. Dette gjelder for eksempel at små utvalg og ulik fritaksandel kan gi store utslag ved sammenlikninger, at prøvene ikke er like fra år til år og at elevgruppene heller ikke er de samme, noe som gjør at sammenlikninger over tid er problematisk. Skoleeierne har i utgangspunktet en svært positiv vurdering av nytten av resultatene fra nasjonale prøver. Vår undersøkelse viser at 86 prosent synes at resultatene er viktige for deres utvikling av grunnskolen. Små kommuner er imidlertid litt mer reservert i sitt syn på nytten enn mellomstore og store kommuner. Når en del små kommuner er mer reservert i sin holdning til å bruke av resultatene, kan dette forklares med at de har få elever på hvert klassetrinn. Dermed blir resultatene beheftet med stor usikkerhet og tilfeldigheter kan gi store utslag. Resultatene som finnes i Skoleporten er dessuten en så grov forenkling av de faktiske prøveresultatene at dette i seg selv kan føre til at skoleeiere og skoler i verste fall risikerer å få misvisende informasjon. Dette har vi behandlet utfyllende i kapittel 8 i denne rapporten. En annen årsak til en mer reservert holdning kan være at små kommuner ikke har skolefaglig kompetanse til å kunne nyttiggjøre seg av resultatene på samme måte som store kommuner. Vi vet at en av fire kommuner offentliggjør resultater fra nasjonale prøver for enkeltskoler. Dette gjelder i større grad for store enn for små og mellomstore kommuner, og dermed vil andelen av skolene som får sine resultater offentliggjort være betydelig høyere, kanskje så mange som opp mot halvparten av alle grunnskoler. Offentliggjøring kan ha forskjellig form og adresse, enten som innspill til politisk behandling, som tilbakemelding til foreldre, som informasjon på skolens eller kommunens nettsider eller i lokale medier. Uansett vil det dreie seg om offentliggjøring av grovt forenklede gjennomsnittsmål beheftet med stor usikkerhet knyttet til hver enkelt skoles resultat. Dette hindrer likevel ikke at resultatene offentliggjøres og kan bli en del av det politiske beslutningsgrunnlaget. Her inngår resultatene fra nasjonale prøver både i styringsdialogen med skoleeier, årlige resultatrapporteringer og i kvalitetsmeldinger Skoleleders bruk av resultatene Skoleleder skal følge opp resultatene fra nasjonale prøver på skolenivå i det lokale forbedrings- og utviklingsarbeidet og legge til rette for at alle lærere følger opp resultatene i klassen. Skoleleder skal også sørge for at elevene og foreldrene får tilbakemelding om resultatene, og at dette ses i sammenheng med annen relevant vurderingsinformasjon som læreren har om elevene fra før (Retningslinjene s. 14). Slik som oppgavene beskrives og slik skolehverdagen er, vil de første punktene gjelde konkrete oppgaver skoleleder skal utføre, mens de punktene som gjelder tilbakemelding og vurdering vil være delegert fra skoleleder til lærerne. I spørreundersøkelsen har vi ikke spurt skolelederne direkte om deres bruk av resultatene fra nasjonale prøver, men vi har stilt dem spørsmål av mer generell karakter om nytten av prøvene. 60 prosent av skolelederne er enig i et utsagn om at nasjonale prøver har gitt dem et godt redskap til å utvikle skolen og 65 prosent mener at lærerne har fått et godt redskap for å utvikle elevenes læringsresultater. Denne tilfredsheten samvarierer med både skolestørrelse og kommunestørrelse, slik at skoleledere ved små skoler og ved skoler i små kommuner er mindre positive enn skoleledere ved store skoler og ved skoler i store kommuner. Fordi det er flest store skoler i store kommuner, viser 173

176 de kvantitative analysene at det er skolestørrelse som har særlig betydning her. Andre forhold som samvarierer med opplevd nytte av prøvene er blant annet at elevene forberedes ekstra før prøvene, at skoleleder spiller en aktiv rolle ved forberedelser og gjennomføring av prøvene, at de har god kjennskap til reglene for fritak og at skolen har tilstrekkelig antall datamaskiner for å gjennomføre prøvene. Skoleledere ved private skoler opplever mindre nytte av prøvene enn ledere ved offentlige skoler, mens skoleledere i Oslo opplever særlig stor nytte av prøvene. En bruk av resultatene fra nasjonale prøver som ikke er relatert til pedagogisk utviklingsarbeid og vurderingsarbeid, gjelder lærernes avlønning. Skolelederne er spurt om resultatene fra nasjonale prøver påvirker avlønningen av lærere på skolen. Dette synes å være svært uvanlig det er 95 prosent av skolelederne som benekter dette. I den grad det forekommer, gjelder det i særlig grad Oslo. Hvordan et slikt resultat skal tolkes, kan imidlertid diskuteres. Det behøver ikke å dreie seg om en direkte konsekvens i form av belønning for gode resultater og manglende belønning for dårlige. Konsekvensen kan også være indirekte ved at skolens resultater påvirke rekrutteringen av lærere. En skole med ekstra utfordringer kan ønske å rekruttere lærere man tror kan bidra til bedre resultater. Da kan noen ekstra lønnstrinn være et effektivt virkemiddel Lærernes bruk av resultatene Gjennom surveyen går det frem at lærerne er svært opptatt av å kunne bruke resultatene fra nasjonale prøver for å gi tilbakemelding til elever og foresatte. De aller fleste lærerne gir tilbakemelding om elevenes resultater gjennom utviklingssamtaler mellom lærere og foresatt, og det er også dette mange av lærerne sier at de legger stor vekt på. I tillegg gir nesten en av tre lærere tilbakemelding til elever gjennom skriftlig vurdering. Dermed oppfyller lærerne formelt kravene om å bruke resultatene fra nasjonale prøver til å gi tilbakemelding til elevene og deres foresatte, slik som Retningslinjene og veiledningene til prøvene pålegger skoleleder å gjøre å gjøre. Samtidig fremkommer det i intervjuene og i kommentarfeltene fra surveyen at bruken av nasjonale prøver som pedagogisk verktøy er begrenset. Etter intervjuer foretatt høsten 2012 ser vi frustrasjon blant lærerne over at hele eller deler av regne- og engelskprøven ble holdt hemmelig, fordi lærerne mente dette fratok dem muligheten til å gi elevene konkret tilbakemelding om hva de kan jobbe videre med. Mestringsnivåene gir ifølge lærerne lite og dårlig tilpasset informasjon, og kan i mange tilfeller skjule store forskjeller mellom elever som formelt sett befinner seg på samme mestringsnivå. Disse elevene kan ha svært ulike typer utfordringer og derfor ulikt behov for tilrettelegging. Flere av lærerne gir også uttrykk for at de har andre former for kartlegging som gir dem mer grundig og anvendelig informasjon, som de kan bruke i tilretteleggingen av undervisningen for den enkelte. Disse lærerne foretrekker gjerne slike kartleggingsverktøy fremfor nasjonale prøver. Mange lærere ser uansett på prøvene som en kartlegging av elevenes ferdigheter før de begynner på mellomtrinnet respektive ungdomstrinnet Elever og foresatte om bruken av resultatene Fra intervjuer med elever på 8. trinn har vi sett at flere av dem har forventninger om at når de har gjennomført en prøve, skal prøven også kunne brukes til å fortelle dem om hva de kan arbeide mer med for å få bedre resultater. Dette står i motsetning til hvordan de samme elevene beskriver nasjonale prøver i intervjuet: at prøvene skal brukes til å måle skolens, kommunens eller landets resultater, samt hvor gode lærerne er i jobben sin. De samme elevene sier seg litt skuffet over hvordan de har fått presentert prøvene i møte med lærer (ofte på utviklingssamtaler) etter at prøvene er gjennomført og resultatene kjent. De kan få vite hvor mange oppgaver de har svart riktig på, og de kan få vite hvilket mestringsnivå de er på. De foresatte vi har snakket med, sier på den andre siden at de stoler på at skolen bruker informasjonen til å utvikle undervisningen til det beste for eleven og at de er tilfreds med å få vite elevens mestringsnivå. Likevel er det vårt inntrykk fra elevintervjuene at eleven gjerne vil vite mer. 174

177 Noe av årsaken til at elevene ikke får mer dyptgående analyser av resultatene i møte med lærer, kan være at behandlingen av resultatene både nasjonalt og på den enkelte skole trekker ut i tid. Etter at prøvene er gjennomført, starter det enkelte skoleledere har kalt for «analysefasen». Da har det allerede gått mer enn en måned siden elevene hadde den første prøven, og høstens utviklingssamtaler er som regel avviklet. Verken elever eller lærere synes det er særlig interessant med elevens resultater fra en prøve som ligger langt tilbake i tid. Derfor kan selve tidsaspektet ved analysene av prøveresultatene føre til at eleven får tilbakemeldinger på et generelt nivå kort etter at prøven er avsluttet, mens skolen kan nyttiggjøre seg av resultatene på gruppenivå i lang tid etter at elevene er ferdige med høstens prøver. 9.4 Prøvenes funksjon Når vi i det foregående har sett hvordan informasjon, veiledning og kontroll benyttes mellom de ulike nivåene i utdanningsbyråkratiet, hvordan de ulike nivåene arbeider med forberedelse og gjennomføring av prøvene og hvordan resultatene fra prøvene brukes, er det på tide å drøfte prøvenes funksjon. I kapittel 1 i denne rapporten formulerte vi to delspørsmål som kan tjene til denne diskusjonen. De to spørsmålene lyder: Hvilken funksjon har prøvene som skolepolitisk styringsverktøy og ansvarliggjøring av skoler og skoleeiere? Hvilken funksjon har prøvene som pedagogisk verktøy og utvikling av elevenes skoleresultater? De aller fleste skoleeierne og et flertall av skolelederne mener at prøvene gir dem viktig informasjon som har betydning for utvikling av skolen. Vi tolker dette som at de fleste skoleeiere er interessert i resultatene, men våre data gir ingen klare resultater med hensyn til hvordan skoleeierne faktisk bruker dem videre. Mer enn halvparten av skoleeierne engasjerer seg i skolens forberedelser til prøvene, noe som kan gi en pekepinn om at disse skoleeierne også bruker resultatene til å utvikle skolen. Ellers kan det bli som en av skolelederne sa til oss i intervju: «Det blir lett til at vi sitter i møte etter møte og ser på resultatene, men å bruke dem, det er et stykke arbeid.» At skoleeier er informert om resultatene, vil dermed ikke nødvendigvis si det samme som at skoleeier faktisk bruker resultatene til å styre utviklingen av grunnskolen i kommunen. Her ser vi at skoleeier og skoleleder ser positivt på prøvene som et skolepolitisk styringsverktøy, men vi kan bare i liten grad se at prøveresultatene blir brukt til å ansvarliggjøre skoleeiere og skoler. Dette fordi skoleeierne i mindre grad følges opp fra de regionale utdanningsmyndighetene, og fordi det kan se ut som om bare et mindretall av skoleeierne engasjerer seg aktivt i forberedelse og kontroll av skolenes arbeid med nasjonale prøver. Imidlertid ser vi at selve det å forberede og gjennomføre prøvene fører til en stor grad av ansvarliggjøring av skolelederne. Skolelederne blir gjennom dette ansvarliggjort både av skoleeier og av de nasjonale utdanningsmyndighetene. Av materialet vårt ser vi også at de fleste skolelederne har et samvittighetspreget forhold til forberedelsene og gjennomføringen av prøvene, og at de oppgir å ha høy bevissthet og sikker utførelse av regelverket. I intervjuer sier skoleledere at det er ikke er viktig for dem at skolens resultater blir best mulig, men at de blir riktigst mulig, slik at de får et korrekt bilde av skolen sin og det arbeidet som må til for å gjøre den bedre. Samtidig kan det se ut til at et mindretall av barneskolene prioriterer ned eller skyver på annen undervisning for å forberede elevene på prøvene, og det kvalitative materialet viser at fritaksreglene kan tolkes på en måte som ikke kommer de svakeste elevene til gode. Slike tendenser kan forklares med Christensen og Lægreid (2001), når de skriver at ulike forvaltningsenheter iverksetter virkemidlene på ulike måter tilpasset den administrative hverdagen. Imidlertid skal vi ikke se bort fra at testverktøyene har underliggende forutsetninger som gir utilsiktede virkninger (Skedsmo 2011). Utstrakt øving til prøvene kan slik være en følge av at resultatene brukes til å sammenligne skoler i en kommune. Videre kan en streng praktisering av fritaksreglene kan gi et forsterket behov for å forberede svake elever, eller det at slike elever må delta i prøvene gjør tilretteleggingen og gjennomføringen av prøver mer ulik på tvers av skoler. 175

178 Etter en innføringsperiode der mange skoleledere sa seg misfornøyde med nasjonale prøver (Holst 2008), sier et flertall av skolelederne i dag at prøvene har gitt dem et nyttig verktøy. Selv om det skaper frustrasjon for skoleledere at resultater blir offentliggjort og omtalt uten at publikum har de nødvendige bakgrunnskunnskaper, er skolelederne opptatt av at prøvene gir et verktøy for å utvikle den enkelte skole. «Vi har jo ikke røntgensyn,» sier en av skolelederne i intervju. Nasjonale prøver blir slik et «røntgenapparat» som skolen kan bruke for å se hva elevene mestrer og hva de ikke får til. Dette understreker imidlertid at mange av skolene bruker prøvene utelukkende som kartlegging, ikke som et egentlig kvalitetsvurderingsverktøy for å bedømme hva skolen får til. Muligheten til å gjøre reelle vurderinger av skolens innsats er uansett bare til stede på barneskolene. Hvis man skal bruke prøvene til å vurdere kvaliteten i hele grunnskolen, må prøveresultatene i 9. klasse tas med, og vurderingen bør foretas på skoleeiernivå. Svarene på spørreundersøkelsen og intervjuene vi har gjort med skoleledere forteller om en måte å drive skole på som har preg av høy bevissthet om pedagogisk utvikling og elevenes resultater. Dette er nok ikke tilfelle for alle skoler, men det synes å gjelde for mange av dem. Ikke minst referansene til kartleggingsverktøy, til ulike former for screening, forsterket innsats for lesing og grunnleggende ferdigheter samt tilpasset opplæring kan omfattes av det nasjonale systemet for kvalitetsvurdering og si noe om hvordan dette systemet er implementert i skolen. Samtidig er det interessant at mange skoleledere og de fleste lærere først og fremst oppfatter nasjonale prøver som et kartleggingsverktøy som skal bidra til at skolen kan tilpasse opplæringen til elevene om ikke til den enkelte elev. Her blir prøvene et pedagogisk styringsverktøy som kan bidra til utvikling av elevenes skoleresultater, men prøvene kan i langt mindre grad brukes til å gi individuelle tilbakemeldinger til elevene og lage tilpassede opplegg for hver enkelt. Skedsmo (2011) skriver at prøvenes målsettinger ikke skiller mellom informasjonsbehovet til den enkelte elev og informasjonsgrunnlaget som trengs for å utvikle systemet. Vi er enige i dette når det gjelder lærerveiledningene, som til en viss grad mangler nyansering av prøvenes hensikt. Rammeverket og Retningslinjene er på sin side klare i hva prøvene kan brukes til og hvilke bruksområder som er mindre fruktbare. Det kan hevdes at lærerveiledningene lover for mye ved ikke å nyansere tilstrekkelig i prøvenes funksjon, samtidig som veiledningene er nøkterne i sin fremstilling av mestringsnivå og omtale av de begrensede mulighetene for sammenligning. Vi ser også at skolene, ved å omtale og bruke prøvene som kartleggingsverktøy, hovedsakelig vektlegger prøvenes pedagogiske funksjon. Skolelederne vi har snakket med, og en rekke lærere, er svært klar over begrensningene i mulighet for sammenligning av resultater. Dette gjør mange lærere frustrerte Lærerne blir også ansvarliggjort gjennom nasjonale prøver, men i noe mindre grad enn skolelederne. Med dette mener vi at de oppviser større variasjon i opplevelser og meninger med hensyn til hva prøvene betyr for skolen og for dem selv i arbeidshverdagen sammenlignet med skolelederne. Her kan vi skille mellom lærere som opplever en hierarkisk ansvarliggjøring og ser på prøvene som uttrykk for byråkratisk kontroll, og lærere som opplever en profesjonell ansvarliggjøring, der prøvene bearbeides og brukes i et kollektiv (Garmannslund m.fl. 2008). Her ser vi i det kvalitative materialet at det er stor forskjell på skoler og i hvilken grad de har lyktes i å etablere en «vi»-følelse rundt de nasjonale prøvene. Det er klart fra litteraturen så vel som fra dokumentstudien, fra lærersurveyen og intervju med elever at prøvene har en begrenset nytte i tilbakemelding og forbedring av skoleresultatet for den enkelte elev. Likevel nevner vi igjen læreres og skolelederes referanser til styrket innsats for leseopplæring og arbeid med grunnleggende ferdigheter, som kanskje ikke hadde stått like sterkt på skolene dersom nasjonale prøver ikke fantes. Dette handler i store trekk om innsats på gruppenivå, men som også kommer enkeltelever til gode. Dersom prøvene ikke kan utvikles slik at de i større grad kan brukes til å gi spissede tilbakemeldinger til den enkelte elev, bør kanskje informasjonsmateriellet til lærerne unngå å skape forventninger om at prøvene kan brukes til dette formålet. Vi har grunn til å tro at lærere vil oppleve det som viktig å fokusere gruppenivået og de overordnede grepene som skolen kan ta for å forbedre et samlet læringsutbytte blant elevene, hvis de ikke samtidig frustreres over prøvenes 176

179 manglende mulighet til å bidra til tilpasset opplæring av enkeltelever. Denne utfordringen gjelder også kommunikasjonen med elevene, som lærerne står for. Her handler det om hvordan man kan øke elevenes forståelse av hvordan informasjonen om resultatene deres bør forstås som et kollektivt gode. Elever er vant til at prøver forteller noe om dem som enkeltpersoner, men det bør ikke være umulig å gi dem enda tydeligere forståelse av at dette er en innsats som kan bidra til å gjøre alle bedre. Da vil kanskje ikke enkeltelever slurve seg gjennom prøven i like stor grad som lærerne nå oppfatter at de gjør, og elevenes forventninger til bruken av resultatene på individnivå kan dempes. Likeledes kan kanskje elever som gruer seg til prøven føle at deres innsats også er nyttig, og at de kan få noe tilbake fra kollektivet ved å delta i prøvene. Oppsummeringsvis kan vi si at skoleeier og skoleleder oppgir at de har nytte av prøvene som et administrativt styringsredskap i utvikling av grunnskolen, men at ikke alle skoleeiere utnytter prøveresultatene på denne måten og at prøven kanskje heller ikke kan utnyttes på denne måten av små kommuner. En del skoleeiere ser ut til å gjøre aktivt bruk av informasjonen prøvene gir, og engasjerer seg i skolenes arbeid gjennom oppfølging og kontroll. Dette gjelder fortrinnsvis store kommuner med mange og store skoler. For små kommuner med små skoler er resultatene mindre pålitelige, og gir dermed informasjon som er preget av usikkerhet og som er vanskelig å omsette i konkrete tiltak. Manglende rutiner for kontrolltiltak svekker prøvene som redskap for ansvarliggjøring av skoleeiere så vel som skoleledere. Skolelederne har på sin side jevnt over nytte av prøvene, både som administrativt og pedagogisk styringsredskap. Dette faller sammen med funn i evaluering av Kunnskapsløftet som styringsreform (Aasen m.fl. 2012). Skoleleder har slik fått et redskap til å utvikle den enkelte skole, men uttrykker frustrasjon over hvordan skolens resultater blir brukt og sammenlignet i media. Enkelte skoleledere påpeker også at resultatene har begrenset nytte for skoleeiernivået fordi det er vanskelig å forklare årsaker til endring over tid. Skolelederne mener derimot at informasjonen fra prøvene kan gi grunnlag for å allokere eller styrke innsats for grunnleggende ferdigheter innad på den enkelte skole. Lærerne er til dels enige med skolelederne i at de gjennom prøvene har fått et godt redskap til å sjekke om elevene har tilegnet seg grunnleggende ferdigheter i tråd med læreplanens mål, dels er lærerne frustrerte over at prøvene gir dem såpass lite de kan arbeide med i møte med den enkelte elev. Prøvenes funksjon som skolepolitisk styringsverktøy står altså forholdsvis sterkt på skoleledernivå, men litt svakere på skoleeiernivå og er så godt som fraværende på lærernivå. Prøvenes funksjon som verktøy for pedagogisk utvikling står sterkt på skoleledernivå, men er svakere både på skoleeiernivå og lærernivå. Samlet kan vi si at skolelederne kommer best ut av dette, idet de opplever at de kan bruke nasjonale prøver for å styre og utvikle skolen. Lærere og små skoleeiere får på generell basis mindre utbytte av henholdsvis innsatsen de legger ned i selve prøvene og de resultatene som prøvene gir. Dette utelukker imidlertid ikke at et overordnet fokus på kvalitet i opplæringen, som nasjonale prøver også er en del av, har styrket lærerne i deres innsats for forbedrede skoleresultater. Slik kan man si at nasjonale prøver har kommet lærere indirekte til gode og styrket dem i arbeidet. 9.5 Avslutning Denne rapporten bygger på data fra spørreundersøkelser blant skoleeiere, skoleledere og lærere om nasjonale prøver. Undersøkelsene forholder seg til prøvene slik de forelå høsten Disse kvantitative undersøkelsene har vi fylt ut med intervjuer og observasjoner om hvordan prøvene gjennomføres i praksis og hvordan resultatene blir brukt. Den samlede datamengden har vi holdt opp mot prøvenes intensjoner, slik dette kommer til uttrykk i formelle og offentlige rammeverk, retningslinjer og veiledninger. Vi har vurdert hvordan de ulike nivåene i styringskjeden arbeider med henholdsvis informasjon, veiledning og kontroll, forberedelser og gjennomføring av prøver samt bruk av resultatene. Vi har sett at prøvene i all hovedsak forberedes og gjennomføres i tråd med intensjonene. Enkelte avvik forekommer, der et mindretall av barneskolene ser ut til å legge annen undervisning til side for å forberede elevene til prøvene. Et annet og mer uventet avvik fra det kvalitative materialet er at 177

180 fritaksreglene praktiseres så strengt at elever som kanskje har for lav generell måloppnåelse til at de burde ta prøven, må gjennomføre den fordi de formelt sett ikke kan fritas. Kontrollen med de formelle sidene ved nasjonale prøver synes mangelfullt utbygd blant flertallet av fylkesmennene og skoleeierne. Generelt legges det større innsats i forberedelse og analyse av resultatene på mellomtrinnet enn på ungdomstrinnet, skoler i store kommuner gjør en større innsats på disse feltene enn skoler i små kommuner, og nasjonale prøver synes mer integrert i hverdagen på skoler på det sentrale Østlandet mer enn hva som er tilfelle i resten av landet. I rapporten har vi spurt hva slags funksjon prøvene har i tilbakemelding og ansvarliggjøring av de ulike nivåene i styringskjeden. Vi ser at tilbakemeldinger om resultater er viktig for alle leddene i styringskjeden, men at dette i liten grad blir brukt til å ansvarliggjøre skolene og skoleeierne for utvikling av skolen. I langt større grad ser vi at skolene blir ansvarliggjort i gjennomføringen og til dels i forberedelsen av prøvene. Gjennom dette blir også lærerne ansvarliggjort. Lærernes tilfredshet med prøvene handler dels om i hvilken grad skolen arbeider med prøvene som et kollektiv, dels om i hvilken grad de opplever at prøvene kan gi tilbakemelding til den enkelte elev. På det siste punktet har prøvene svakheter, noe som underkommuniseres i informasjonen til lærerne. Samtidig ser vi at nasjonale prøver, som del av det nasjonale kvalitetsvurderingssystemet, kan ha bidratt til måten skoleledere og lærere snakker om det pedagogiske utviklingsarbeidet. Lærere kan rose kartleggingsprøver eller satsning på leseopplæring, tilsynelatende uavhengig om de mener at satsning på leseopplæring eller grunnleggende ferdigheter styrkes eller ikke påvirkes av nasjonale prøver. Mange skoler ser ut til å behandle nasjonale prøver som et kartleggingsverktøy fremfor et redskap for kvalitetsvurdering. Muligheten til å bruke prøvene til å måle kvalitet på skolen, synes heller ikke å være til stede for ungdomsskolene, som overtar elever fra flere barneskoler. Nasjonale prøver som kvalitetsmål i skolen svekkes også idet elevenes prøveresultater forenkles på veien fra faktiske testskårer til gjennomsnittlige mestringsnivåer for klasser, skoler og kommuner. Disse gjennomsnittsverdiene tar ikke høyde for variasjonen innenfor mestringsnivåene og kan være direkte misvisende sammenlignet med faktiske prøveresultater. Dette kan gi seg svært uheldige utslag når grupper sammenliknes, for eksempel skoler innenfor samme kommune. Over 80 prosent av barneskolene har dessuten så få elever at sammenlikninger sjelden gir mening, fordi usikkerheten rundt resultatene er så stor. Den nytten de største skolene og kommunene kan ha av disse resultatene står ikke i forhold til den potensielle faren for å legge for stor vekt på usikre resultater som vil gjelde for det store flertallet av skoler og kommuner. 178

181 Referanser Aasen, P.; Møller, J.; Rye, E.; Ottesen, E.; Prøitz, T. S. og Hertzberg, F. (2012). Kunnskapsløftet som styringsreform et løft eller et løfte? Forvaltningsnivåenes og institusjonenes rolle i implementeringen av reformen. NIFU-rapport 20/2012. Oslo: NIFU. Andersen, S. (1997). Case-studier og generalisering. Forskningsstrategi og design. Bergen: Fagbokforlaget. Bachmann, K. E.; Sivesind, K. og Bergem, R. (2008). Evaluering og ansvarliggjøring i skolen. I: Langfeldt, Elstad og Hopmann (red.) Ansvarlighet i skolen. Politiske spørsmål g pedagogiske svar. Side Oslo: Cappelen. Boréus, K. og Bergström, G. (2005). Textens mening och makt: metodbok i samhällsvetenskaplig textoch diskursanalys. Lund: Studentlitteratur. Christensen, T. og Lægreid, P. (2001). A Transformative Perspective on Administrative Reforms. I: Lægreid, P. og Christensen, P. (red.). New Public Management. The transformation of ideas and practice. London: Ashgate. Dahler-Larsen, P. (2012). Evaluering. I: Brinkmann, S. og Tanggaard, L. (red.). Kvalitative metoder. Empiri og teoriutvikling. Side Oslo: Gyldendal Akademisk. Day, C. (2002). School reform and transition in teacher professionalism and identity. I: International Journal of Educational Reseach, 37(2002). Side Elstad, E. (2009). Schools wich are named, shamed and blamed by the media: school accountability in Norway. I: Educational Assessment, Evaluation and Accountability 21, side Engelstad, F.; Grenness, C.E.; Kalleberg, R. og Malnes, R. (2005). Introduksjon til samfunnsfag. Vitenskapsteori, argumentasjon og faghistorie. Oslo: Gyldendal Akademisk. Garmannslund, P.; Elstad, E. og Langfelt, G. (2008). Læreres opplevelse av måling og rangering av kvalitetsaspekter ved undervisning og læringsprosesser. I: Langfelt; Elstad og Hopmann (red.). Ansvarlighet i skolen. Politiske spørsmål og pedagogiske svar. Oslo: Cappelen. Grøgaard, J. B. (2012) Hva kjennetegner barneskoler som oppnår høy skår på nasjonale prøver? NIFU rapport 38/2012. Oslo: NIFU Halkier, B. (2013). «Fokusgrupper.» I: Brinkmann, S. og Tanggaard, L. (red.) Kvalitative metoder. Empiri og teoriutvikling. Side Oslo: Gyldendal Akademisk. Haug, P. (2011). Klasseromsforskning. Kunnskapsstatus og konsekvensar for lærarrolla og lærarutdanninga. Rapport 21. Volda: Høgskulen i Volda. Helgøy, I. (2003). Fra skole til tjenesteleverandør? Endringsprosesser i norsk grunnskole. I: Norsk statsvitenskapelig tidsskrift, 19, side Holst, V. (2008). Ledelse og makt i den norske skolen med fokus på nasjonale prøver. I: Michelet, S. (red.) Mangfold i klasserommet. Individ og fellesskap. Rapport nr. 13. Side Oslo: Høgskolen i Oslo. Lie, S.; Caspersen, M. og Björnsson, J.K. (2005). Nasjonale prøver på prøve. Rapport fra en utvalgsundersøkelse for å analysere og vurdere kvaliteten på oppgaver og resultater til nasjonale prøver våren Oslo/Reykjavik: Universitetet i Oslo/Educational Testing Institute. Lynggaard, K. (2012). «Dokumentanalyse.» I: Brinkmann, S. og Tanggaard, L. (red.) Kvalitative metoder. Empiri og teoriutvikling. Side Oslo: Gyldendal akademisk. Løken, G. (2012). Levd observasjon. En vitenskapsteoretisk kommentar til observasjon som forskningsmetode. Oslo: Cappelen Damm Akademisk. 179

182 Marsdal, M. (2011). Kunnskapsbløffen. Skoler som jukser, barn som gruer seg. Oslo: Manifest. NOU 2002: 10 Førsteklasses fra første klasse. Forslag til rammeverk for et nasjonalt kvalitetsvurderingssystem av norsk grunnopplæring. Delutredning avgitt til Utdannings- og forskningsdepartementet 14. juni Opheim, V., Grøgaard, J. B. og Næss, T. (2010) De gamle er eldst? NIFU STEP rapport 34/2010. Oslo: NIFU Ottesen, E. og Møller, J. (red.) (2010). Underveis, men i svært ulikt tempo. Et blikk inn i ti skoler etter tre år med Kunnskapsløftet. Delrapport 3 Underveisanalyse av Kunnskapsløftet som styringsform. NIFU-STEP rapport 37/2010. Oslo: NIFU-STEP/Institutt for lærerutdanning og skoleforskning, Universitetet i Oslo. Repstad, P. (2007). Mellom nærhet og distanse. Kvalitative metoder i samfunnsfag. Oslo: Universitetsforlaget. Skedsmo, G. (2011) Vurdering som styring av utvikling og overvåkning av resultater. I: Møller, J. og Ottesen, E. (red.). Rektor som leder og sjef. Om styring, ledelse og kunnskapsutvikling i skolen. Side Oslo: Universitetsforlaget. Stortingsmelding nr. 31 ( ). Kvalitet i skolen. Avgitt av Kunnskapsdepartementet, 13. juni Oslo: Kunnskapsdepartementet. Utdanningsdirektoratet (2012). Nasjonale prøver. Veiledning til skoleeiere og skoleledere. Url: (siste lesedato: 28. januar 2013). Utdanningsdirektoratet (2011). Norsk landrapport til OECD. OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes. Oslo: Utdanningsdirektoratet. Utdanningsdirektoratet (2010). Rammeverk for nasjonale prøver. Url: e=no (siste lesedato: 28. januar 2013) Vibe, N., Aamodt, P.O. og Carlsten, T. (2009). Å være ungdomsskolelærer i Norge. Resultater fra OECDs internasjonale studie av undervisning og opplæring (TALIS). NIFU STEP rapport 23/2009. Oslo: NIFU STEP. Vibe, N., Evensen, M. og Hovdhaugen, E. (2009) Spørsmål til Skole-Norge. NIFU STEP rapport 33/2009. Oslo: NIFU STEP. Vibe, N. og Hovdhaugen, E. (2012) Spørsmål til Skole-Norge høsten NIFU rapport 47/2012. Oslo: NIFU 180

183 Vedlegg Vedlegg til kapittel 2 (a) Dokumentasjon av utvalg for undersøkelser blant skoleeiere og skoleledere Dette vedlegget er basert på kapittel 2 i NIFU rapport 47/2012, Vibe og Hovdhaugen: «Spørsmål til Skole-Norge høsten 2012». Hovedprinsipp for utvalgsdesign For å redusere belastningen på sektoren er det lagt til grunn som en forutsetning at Utdanningsdirektoratets spørringer skal være utvalgsundersøkelser. Spørringene er halvårlige, og det er laget tre sammenliknbare utvalg slik at skoler og skoleeiere ikke skal kontaktes oftere enn hver 18. måned. Unntaket fra dette er fylkeskommunene, der alle 19 fylker er med i alle spørringer. Alle 19 fylkeskommuner har besvart undersøkelsen høsten De videregående skolene er fordelt på tre utvalg med ca. en tredjedel av skolene fra hvert fylke i hvert av utvalgene. 146 videregående skoler var med i bruttoutvalget våren Det er laget tre sammenliknbare kommuneutvalg, og de 430 kommunene 32 er fordelt på disse utvalgene. Grunnskoleutvalgene er laget på tilsvarende måte, slik at grunnskolene i hvert enkelt utvalg kommer fra kommunene i det samme utvalget. For 10 større kommuner 33 har vi imidlertid gjort et unntak. Disse er, i likhet med fylkeskommunene, med i alle tre utvalg, mens grunnskolene i disse kommunene er fordelt på de tre utvalgene med en tredjedel i hvert utvalg. Kommunene og de videregående skolene er i utgangspunktet ikke trukket tilfeldig, men fordelt på utvalgene innenfor fylkene etter kriterier som størrelse, geografi, kommunetype og skoletype. Der det har vært mulig å velge mellom flere kommuner eller videregående skoler som tilfredsstiller de samme kriteriene, er det trukket tilfeldig. I praksis har slik tilfeldig trekking bare vært aktuelt i fylker med særlig mange små kommuner eller mange videregående skoler. I de ti større kommunene som er med hver gang, men der bare en tredjedel av grunnskolene er med, er utvalget av skoler trukket tilfeldig. Kommuneutvalget høsten 2012 Tabell V2.1 viser hvordan kommuneutvalget var sammensatt fylkesvis og hva slags svarprosent som ble oppnådd. Svarprosentene beregnes her på basis av hvor mange av de besvarelsene vi har mottatt som kan brukes i analysene. De aller fleste av besvarelsene er komplette, men for noen få mangler svar på en eller flere av delene av undersøkelsene. Den samlede svarprosenten ble 78,1, eller 118 av de 151 kommunene i utvalget. Bare én kommune nektet aktivt, det vil si at det ble gitt beskjed om at de ikke ønsket å være med. 28 kommuner svarte ikke på henvendelsen og åpnet heller ikke undersøkelsen, selv etter fire påminnelser. Vi har valgt å kalle det for passiv nekt, et fenomen som synes å være ganske utbredt innenfor denne sektoren. I alt 122 kommuner åpnet undersøkelsen, men fire av besvarelsene var så mangelfulle at de ikke kan brukes i analysene. 32 Svalbard regnes som egen kommune og regnes å tilhøre Troms fylke 33 Arendal, Bergen, Bærum, Fredrikstad, Kristiansand, Oslo, Sandnes, Stavanger, Tromsø og Trondheim. 181

184 Tabell V2.1 Populasjon, bruttoutvalg og nettoutvalg av kommuner fordelt etter fylke. Populasjon Bruttoutvalg Aktiv nekt Passiv nekt Ufullstendig Godkjent Godkjent % Østfold % Akershus % Oslo % Hedmark % Oppland % Buskerud % Vestfold % Telemark % Aust-Agder % Vest-Agder % Rogaland % Hordaland % Sogn og Fjordane % Møre og Romsdal % Sør-Trøndelag % Nord-Trøndelag % Nordland % Troms * % Finnmark % Sum ,1 % 0,7 % 18,5 % 2,6 % 78,1 % 100,0 % * Inkludert Svalbard Alle kommuner i Nordland og Vest-Agder sluttet opp om undersøkelsen. I Østfold, Akershus, Vestfold, Aust -Agder og Sør-Trøndelag har bare én kommune valgt ikke å delta. I Nord-Trøndelag har bare fire av åtte kommuner besvart og i Finnmark fire av sju. Samlet sett er deltakelsen tilfredsstillende og med god dekning i alle landsdeler. Alle de ti større kommunene som er med i utvalget hver gang, har gjennomført undersøkelsen. Dette var også tilfelle for undersøkelsen våren Tabell V2.2 Svarprosenter for kommuner etter geografi og folketall. Svarprosenter Antall innbyggere Under og mer Alle Landsdel Oslo og Akershus 100 % 100 % 86 % 89 % Østlandet 90 % 63 % 77 % 74 % Sør- og Vestlandet 70 % 77 % 92 % 78 % Midt- og Nord-Norge 70 % 88 % 88 % 79 % Alle 74 % 77 % 85 % 78 % Vi ser av tabell V2.2 at det er relativt liten variasjon i svarprosenten når vi deler inn utvalget i ni grupper etter geografi og folketall. Svarprosenten varierer fra 74 prosent blant de minste kommunene til 85 prosent blant de største. Etter landsdel varierer den fra 74 prosent på Østlandet til 89 prosent i Oslo og Akershus. Aller lavest er oppslutningen blant de mellomstore på Østlandet med 63 prosent, mens den er høyest blant de største kommunene Sør- og Vestlandet med 92 prosent. I Akershus var det en liten og en mellomstor kommune med i utvalget, og begge deltok. Med hensyn til geografi og folketall, fikk nettoutvalget denne sammensetningen: 182

185 Tabell V2.3 Sammensetning av nettoutvalget av kommuner etter geografi og folketall sammenliknet med populasjonen av kommuner (i parentes). Totalprosent. Folketall i tre grupper Landsdel Under til og mer Alle Oslo og Akershus 0,8 % (0,2) 0,8 % (0,2 ) 5,1 % (4,9 ) 6,8 % (5,3 ) Østlandet 7,6 % (7,0) 8,5 % (12,1) 8,5 % (8,6) 24,6 % (27,7) Sør- og Vestlandet 11,9 % (12,8) 14,4 % (14,7) 10,2 % (7,7) 36,4 % (35,1) Midt- og Nord-Norge 13,6 % (17,9) 12,7 % (9,8) 5,9 % (4,2) 32,2 % (31,9) Alle 33,9 % (37,9) 36,4 % (36,7) 29,7 % (25,3) 100,0 % Fordelingen av kommuner på landsdeler er tilfredsstillende med få avvik fra hva vi finner i populasjonen av kommuner, selv om de minste kommunene er litt underrepresentert og de største tilsvarende overrepresentert. De største avvikene i hver retning er en overrepresentasjon på 2,9 prosentpoeng av mellomstore kommuner i Midt- og Nord-Norge og en underrepresentasjon på 4,3 prosentpoeng av små kommuner i den samme landsdelen. De avvikene vi ser vil ikke ha noen betydning for svarfordelingen. Grunnskoleutvalget høsten 2012 Grunnskoleutvalget for høsten 2012 ble trukket fra en populasjon på i alt 2922 ordinære grunnskoler, som er registrert i Grunnskolens informasjonssystem (GSI) for skoleåret Utvalget bestod av 976 skoler. Av disse ble tre skoler tatt ut av utvalget fordi det viste seg at de ikke var i drift. Svarprosenten skal derfor beregnes på basis av 973 skoler. Antallet som aktivt nektet å være med i undersøkelsen er ubetydelig, bare 4 skoler. Tabell V2.4 Populasjon, bruttoutvalg og nettoutvalg av grunnskoler fordelt etter fylke. Populasjon Bruttoutvalg Tatt ut av utvalg Aktiv nekt Passiv nekt Ufullstendig Godkjent Godkjent % Østfold % Akershus % Oslo % Hedmark % Oppland % Buskerud % Vestfold % Telemark % Aust-Agder % Vest-Agder % Rogaland % Hordaland % Sogn og Fjordane % Møre og Romsdal % Sør-Trøndelag % Nord-Trøndelag % Nordland % Troms* % Finnmark % Sum ,5 % 0,4 % 29,3 % 4,8 % 65,5 % 100,0 % *Inkludert Svalbard. 285 skoler, eller 29,3 prosent, hører til kategorien passiv nekt, ved at de verken besvarte våre i alt fire henvendelser eller åpnet undersøkelsen. Når bare en håndfull av skolene gir aktivt beskjed om at de ikke ønsker å delta, mens flere hundre lar være å besvare henvendelsen, er dette en indikasjon på at henvendelser av denne typen ikke tas særlig alvorlig ved mange skoler, og heller ikke hos mange 183

186 skoleeiere. Det er variasjon mellom fylkene med hensyn til dette fenomenet. Høyest er andelen i Sør- Trøndelag (40 prosent) og lavest i Hedmark (14 prosent). Vi ville ha foretrukket å få et nei framfor ikke å få noe svar i det hele tatt. Da ville dessuten mange skoler og skoleeiere sluppet å motta flere ekstra henvendelser om en undersøkelse som de likevel ikke har tenkt å besvare. 684 grunnskoler var inne på undersøkelsen, mens i alt 637 besvarelser kan godkjennes. Dermed kunne besvarelsene til 65,5 prosent av bruttoutvalget brukes i analysene. Det samme utvalget ble også brukt høsten 2009, og svarprosenten var da 63,1 prosent. Hedmark har høyest svarprosent denne gangen med 77 prosent, mens Østfold, Oslo, Rogaland og Buskerud har mellom 71 og 73 prosent. Aust-Agder og Sør-Trøndelag har de laveste svarprosentene med henholdsvis 54 og 56 prosent. Det er mindre variasjon i svarprosent mellom fylkene denne gangen enn det var med det samme utvalget for tre år siden da svarprosenten varierte mellom 51 og 79 prosent. Det er heller ikke de samme fylkene som befinner seg på bunnen og toppen. Ettersom det er primærkommunen og ikke fylkeskommunen som er det relevante forvaltningsnivået for grunnskolene, er sammenlikning av svarprosenter på kommunenivå det mest interessante. Siden norske kommuner gjennomgående er små, gir det likevel liten mening å gjøre en fullstendig sammenlikning av svarprosenter mellom kommuner. Av de 151 kommunene som er med i utvalget har 57 tre eller færre skoler, mens bare fem har 20 eller flere skoler og 11 har minst 15 skoler med i utvalget. Av disse har samtlige en svarprosent på minst 60 prosent. Høyest er svarprosenten i Skedsmo der 14 av 16 skoler, eller 88 prosent har svart. I Røyken kommune har åtte av ni skoler svart. Det ser dessuten ut til å ha betydning for deltakelsen blant skolene om kommunen som representant for skoleeier deltar. I de kommunene der en særlig høy andel av skolene deltar, har skoleeier med få unntak besvart undersøkelsen. Selv om det langt fra er en selvfølge at skolene deltar hvis skoleeier gjør det, øker det helt klart sannsynligheten for å delta. Når kommunen deltar, deltar 67 prosent av skolene, mens andelen er 59 prosent når kommunen ikke deltar. Når minst 70 prosent av skolene deltar, deltar 82 prosent av skoleeierne, mens 61 prosent av skoleeierne deltar når svarprosenten blant skolene er 40 prosent eller lavere. Tabell V2.5 viser at svarprosenten blant grunnskolene varierer mellom 63 prosent for 1-10 skolene, til 72 prosent for ungdomsskolene, fra 61 prosent i Midt- og Nord-Norge til 70 prosent på Østlandet og fra 60 prosent for de minste til 71 prosent for de største skolene. Tabell V2.5 Svarprosenter for grunnskoler etter geografi, skoletype og skolestørrelse. Etter landsdel og skoletype Barne- og Barnetrinn ungdomstrinn Ungdomstrinn Alle typer Oslo og Akershus 68 % 61 % 77 % 69 % Østlandet 68 % 69 % 80 % 70 % Sør- og Vest-Norge 62 % 69 % 62 % 64 % Midt- og Nord-Norge 63 % 56 % 70 % 61 % Hele landet 65 % 63 % 72 % 65 % Etter landsdel og skolestørrelse Under og over Alle størrelser Oslo og Akershus 67 % 53 % 77 % 69 % Østlandet 66 % 71 % 74 % 70 % Sør- og Vest-Norge 64 % 62 % 66 % 64 % Midt- og Nord-Norge 53 % 70 % 66 % 61 % Hele landet 60 % 66 % 71 % 65 % Høyest svarprosent har ungdomsskoler på Østlandet (80 prosent), mens den er lavest blant små skoler i Midt- og Nord-Norge og mellomstore skoler i Oslo og Akershus (53 prosent). En variasjon i 184

187 svarprosenten på mellom 53 og 80 prosent må kunne sies å være tilfredsstillende når man bryter ned et materiale på 637 på 12 grupper med i gjennomsnitt 53 i hver gruppe. Den geografiske representativiteten er svært god (tabell V2.6), slik den også har vært ved tidligere undersøkelser. Også når det gjelder skolestørrelse er totalbildet tilfredsstillende, riktignok med en liten overrepresentasjon av store skoler på bekostning av de minste. Det største enkeltavviket vi finner gjelder små skoler i Midt- og Nord-Norge, som er underrepresentert med 2,1 prosentpoeng. Mest overrepresentert er mellomstore skoler på Østlandet med 2 prosentpoeng. Kontroller av materialet viser at skjevhetene ikke har noen betydning for resultatene i undersøkelsen. Tabell V2.6 Sammensetning av nettoutvalget av grunnskoler etter geografi og elevtall, sammenliknet med populasjonen av grunnskoler (i parentes). Totalprosent. Elevtall Under og over Alle Oslo og Akershus 0,6 % (1,0) 3,9 % (3,9) 8,4 % (8,2) 13,7 % (13,1) Østlandet 6,0 % (6,2) 16,0 % (14,0) 5,8 % (6,3) 27,8 % (26,4) Sør- og Vestlandet 12,7 % (12,6) 13,4 % (14,7) 9,0 % (8,9) 35,1 % (36,2) Midt- og Nord-Norge 9,3 % (11,4) 9,0 % (8,3) 5,2 % (4,5) 23,4 % (24,2) Alle 28,6 % (31,2) 41,5 % (40,9) 29,9 % (27,9) 100,0 % Fordelingen etter trinn i utvalget er også tilfredsstillende (tabell V2.7), men ungdomskolene er noe overrepresentert. Det største enkeltavviket er på 1,3 prosentpoeng og gjelder en underrepresentasjon av 1-10 skoler i Midt- og Nord-Norge. Disse helt marginale avvikene vil selvsagt ikke ha noen betydning for resultatene i undersøkelsen. Tabell V2.7 Sammensetning av nettoutvalget av grunnskoler etter geografi og trinn, sammenliknet med populasjonen av grunnskoler (i parentes). Totalprosent. Trinn Barnetrinn Barne- og ungdomstrinn Ungdomstrinn Alle Oslo og Akershus 8,3 % (8,1) 1,7 % (1,9) 3,6 % (3,1) 13,7 % (13,1) Østlandet 17,8 % (17,3 ) 3,8 % (3,9) 6,3 % (5,2) 27,8 % (26,4) Sør- og Vestlandet 21,7 % (22,8) 8,5 % (8,0) 4,9 % (5,4) 35,1 % (36,2) Midt- og Nord-Norge 11,2 % (11,4) 9,0 % (10,3) 3,3 % (2,6) 23,4 % (24,2) Alle 59,0 % (59,6) 23,0 % (24,1) 18,1 % (16,3) 100,0 % Vi har også sett på om driftsansvar og målform har hatt noen betydning for svarprosenten i undersøkelsen. 6,0 prosent av grunnskolene i nettoutvalget er frittstående, mot 5,4 prosent i bruttoutvalget av grunnskoler. Dette er ingen signifikant forskjell. Mens 22,2 prosent av skolene i bruttoutvalget har nynorsk som målform, gjelder dette 19,8 prosent av skolene som har besvart undersøkelsen. Denne forskjellen er statistisk signifikant på 3 prosentnivå. 185

188

189 Vedlegg til kapittel 2 (b) Dokumentasjon av utvalget for lærersurveyen Lærerutvalgets sammensetning Vi skal nå vise hvordan lærerutvalget er sammensatt med hensyn til noen sentrale bakgrunnsvariabler. Dette gjelder kjønn, alder, ansiennitet, utdanning, hvilket trinn i grunnskolen de arbeider på og hva slags nasjonal prøve de har gjennomført. 51 prosent av lærerne i vårt utvalg jobber på ungdomstrinnet, 45 prosent på mellomtrinnet, mens fire prosent oppgir at de jobber på begge trinn. Utvalget er dermed representativt for norske lærere på de to trinnene. I følge GSI (Grunnskolen informasjonssystem) jobber lærere på mellomtrinnet, mens jobber på ungdomstrinnet. Fordelingen blir dermed 47 og 53 prosent mellom de to gruppene. Når vi ser på kjønnsfordelingen, viser det seg at 71 prosent av lærerne i utvalget er kvinner. På mellomtrinnet er tre av fire kvinner, mens dette gjelder to av tre på ungdomstrinnet. Tabell V2.8 Kjønnsfordeling etter trinn Mellomtrinn Ungdomstrinn Begge trinn Alle Kvinne 75 % 67 % 67 % 71 % Mann 25 % 33 % 33 % 29 % Sum 100 % 100 % 100 % 100 % Antall (N=) GSI forteller oss ikke hvordan kjønnsfordelingen er på hvert trinn, men totalt for grunnskolen gjelder at 73,5 prosent av lærerne er kvinner. Hvis vi antar at kvinneandelen er høyest på småskoletrinnet, ser det ut til at den fordelingen vi finner i vårt materiale er svært nær den faktiske i populasjonen. OECDundersøkelsen TALIS (Vibe m.fl. 2009:44) viste at 60 prosent av de norske lærerne var kvinner. TALIS omfattet bare lærere på ungdomstrinnet. Tabell V2.9 Aldersfordeling etter trinn Mellomtrinn Ungdomstrinn Begge trinn Alle Under 30 9 % 6 % 6 % 7 % % 30 % 39 % 29 % % 27 % 11 % 26 % % 19 % 28 % 21 % 60 og mer 6 % 10 % 11 % 8 % Ubesvart 9 % 9 % 6 % 9 % Sum 100 % 100 % 100 % 100 % Antall (N=) Vi mangler aldersinformasjon for ni prosent av utvalget. Tabellen viser ellers at de aller fleste er mellom 30 og 59 år og at omtrent like mange er eldre og yngre enn dette. Den største gruppa er i trettiårene, i alt en av tre blant dem som vi kjenner alderen til. Nesten like mange er i førtiårene. Det er ingen forskjell av betydning mellom trinnene. TALIS-undersøkelsen viste at 40 prosent av de norske ungdomsskolelærerne var 50 år eller eldre, altså flere enn det vi finner, mens 20 prosent var i førtiårene. Andelen trettiåringer og yngre lærere på ungdomstrinnet er helt tilsvarende det vi finner i TALIS (Vibe m.fl. 2009:45). 187

190 To av tre lærere har allmennlærerutdanning, men andelen er betydelig høyere på mellomtrinnet, 83 prosent og 52 prosent på ungdomstrinnet. Tabell V2.10 Høyeste fullførte utdanning etter trinn Mellomtrinn Ungdomstrinn Begge trinn Alle Lærerskole/Allmennlærerutdanning, eventuelt med videreutdanning, adjunkt 83 % 52 % 56 % 66 % Cand.mag. eller annen universitetsutdanning som varte i minst 3 år, men kortere enn 5 år 6 % 20 % 28 % 14 % Universitets- eller høyskoleutdanning som varte i minst 5 år (f.eks. hovedfag eller mastergrad) 10 % 26 % 17 % 19 % Ikke fullført høyere utdanning 0 % 0 % 0 % 0 % Annet, vennligst spesifiser 0 % 1 % 0 % 1 % Sum 100 % 100 % 100 % 100 % Antall (N=) Fordelingen vi finner for lærerne på ungdomstrinnet samsvarer godt med hva TALIS viser. Der fant vi at litt over halvparten hadde allmennlærerutdanning, mens de øvrige fordelte seg omtrent likt mellom andre former for høyere utdanning av kortere varighet og høyere grad utdanning (Vibe m.fl. 2009:49). Vi finner ingen forskjell av betydning mellom mannlige og kvinnelige læreres utdanning, og heller ikke etter alder, bortsett fra at de alle yngste lærerne i større grad har allmennlærerutdanning enn de øvrige gruppene. Dette tilsvarer helt funnene fra TALIS. Lærerne på ungdomstrinnet i vårt utvalg avviker noe fra TALIS-utvalget ved at betydelig flere har mellom 11 og 20 års ansiennitet som lærer, 36 prosent, mot 22 prosent i TALIS. Til gjengjeld har betydelig færre mer enn 20 års ansiennitet, 29 prosent mot 39 prosent. Vi ser ellers at det er små forskjeller mellom lærere på mellomtrinnet og ungdomstrinnet. Vi mangler informasjon fra 35 lærere om dette spørsmålet. Tabell V2.11 Ansiennitet som lærer etter trinn Mellomtrinn Ungdomstrinn Begge trinn Alle Under 3 år 4 % 2 % 0 % 3 % 3-5 år 9 % 13 % 12 % 11 % 6-10 år 21 % 20 % 18 % 20 % år 39 % 36 % 29 % 37 % Mer enn 20 år 27 % 29 % 41 % 29 % Sum 100 % 100 % 100 % 100 % Antall (N=) Vi ser at bare halvparten så mange, 14 prosent i alt, har mer enn 20 års ansiennitet ved samme skole sammenliknet med andelen som har så lang samlet ansiennitet som lærer. Til gjengjeld har en av tre lærere under 6 års ansiennitet ved samme skole, mens bare 14 prosent har så kort samlet ansiennitet. Dette er en indikasjon på at mange lærere skifter arbeidsplass. Det er små forskjeller mellom trinnene. Vi mangler informasjon fra 40 lærere om deres ansiennitet ved skolen de jobber ved nå Når så mange har unnlatt å svare på dette spørsmålet, kan det skyldes to forhold. For det første er dette det siste spørsmålet i undersøkelsen, slik at en del har falt fra underveis. For det andre er det enkelte som ikke ønsker å oppgi personopplysninger av denne typen. 188

191 Tabell V2.12 Ansiennitet ved nåværende skole etter trinn Mellomtrinn Ungdomstrinn Begge trinn Alle Under 3 år 14 % 10 % 18 % 12 % 3-5 år 23 % 19 % 0 % 20 % 6-10 år 24 % 28 % 18 % 26 % år 27 % 28 % 35 % 28 % Mer enn 20 år 12 % 15 % 29 % 14 % Sum 100 % 100 % 100 % 100 % Antall (N=) Vi skal til slutt i denne gjennomgangen se på hva slags nasjonale prøver lærerne har vært med på. Tabellen nedenfor angir hvor stor andel som har deltatt i de tre typene prøver hvert av de tre siste skoleårene. Tabell V2.13 Andel som har erfaring med de tre prøvetypene siste tre skoleår Prosent Antall Antall i alt Regning (Skoleåret 2010/11) 23 % Regning (Skoleåret 2011/12) 25 % Regning (Skoleåret 2012/13) 34 % Regning, minst ett av årene 58 % Lesing (Skoleåret 2010/11) 28 % Lesing (Skoleåret 2011/12) 33 % Lesing (Skoleåret 2012/13) 45 % Lesing, minst ett av årene 70 % Engelsk (Skoleåret 2010/11) 17 % Engelsk (Skoleåret 2011/12) 20 % Engelsk (Skoleåret 2012/13) 24 % Engelsk, minst ett av årene 46 % Tabellen viser at det vanligste er å ha deltatt i leseprøven, noe 70 prosent har gjort og 45 prosent i inneværende skoleår. 58 prosent har deltatt i regneprøven, 34 prosent i dette skoleåret, mens andelene er 46 og 24 prosent for engelskprøven. Tabellen viser ellers at mange lærere nødvendigvis må ha vært involvert i flere enn en type prøve, siden summen av andelene for å ha deltatt i hver av de tre typene langt overstiger 100 prosent. Tabellen nedenfor viser hvilke prøver lærerne har vært involvert i og når de sist deltok. 189

192 Tabell V2.14 Erfaring med ulike prøvetyper tre siste skoleår. Totalprosentuering I år I fjor I forfjor Sum Antall (N=) Alle tre 16 % 6 % 4 % 26 % 120 Lesing 16 % 5 % 2 % 23 % 105 Regning 11 % 3 % 3 % 17 % 79 Regning og lesing 8 % 3 % 1 % 13 % 60 Lesing og engelsk 7 % 1 % 1 % 9 % 43 Engelsk 4 % 2 % 2 % 9 % 41 Regning og engelsk 2 % 0 % 1 % 3 % 13 Sum 65 % 21 % 15 % 100 % 461 Antall (N=) Tabellen leses slik at prosentandelene i cellene summerer seg til 100 prosent. 65 prosent av lærerne deltok i minst en prøve i inneværende skoleår, 21 prosent deltok siste gang i fjor og 15 prosent for to år siden. 26 prosent har deltatt i alle tre prøvetyper i løpet av de siste tre skoleårene, 23 prosent bare i leseprøven, 17 prosent bare i regneprøven og 9 prosent bare i engelskprøven. De øvrige, 25 prosent, har deltatt i to prøvetyper. Hvor representativt er lærerutvalget for lærernes praksis og holdninger? Siden vi strengt tatt ikke kjenner sammensetningen av populasjonen av lærere som har hatt erfaring med gjennomføring av nasjonale prøver i løpet av de siste tre skoleårene, har vi ingen mulighet til å foreta nøyaktige analyser av hvor representativt vårt utvalg er. Vi har imidlertid vist i forrige underkapittel at vårt utvalg har vesentlige likhetstrekk med det vi vet om sammensetningen av lærerpopulasjonen generelt. Det vi i tillegg kan gjøre er å foreta noen analyser av svar på sentrale spørsmål i undersøkelsen og se om ulike undergrupper av lærere svarer ulikt. Da tenker vi ikke på undergrupper definert ut fra opplysninger som trinn, prøvetype, kjønn, alder og utdanning, hvor ulikt svarmønster kan være naturlig og forventet, men undergrupper der forskjeller i svarmønstrene vil være problematisk for tolkning av resultatene. Vi skal se på tre slik inndelinger. For det første vil vi sammenlikne svarene til lærere som har erfaring med prøvene i inneværende skoleår og lærere med eldre erfaring. For det andre vil vi se hvordan skolelederne ved de skolene som har deltatt i lærersurveyen har svart sammenlignet med andre skoleledere. Dette gjør vi fordi det kan tenkes at skolelederes oppfatninger kan virke inn på lærernes erfaringer og holdninger. Endelig vil vi se om skoleeiere i kommuner der lærere har deltatt svarer annerledes enn andre skoleeiere. Tabell V2.15 Holdning til prøvene blant lærerne etter når deltatt i nasjonale prøver sist Når prøve sist I år I fjor I forfjor Alle Som en oppsummering ber vi Helt uenig 11 % 11 % 11 % 11 % deg om å gi oss din generelle Litt uenig 16 % 18 % 27 % 18 % vurdering av nasjonale Både/og 33 % 27 % 21 % 30 % prøver. Ta stilling til utsagnet "Nasjonale prøver er et godt Litt enig 31 % 35 % 35 % 32 % redskap for meg i arbeidet Helt enig 8 % 9 % 6 % 8 % mitt." Sum 100 % 100 % 100 % 100 % Antall (N=) Pearson Kji-kvadrat: Signifikansnivå: 0,

193 Den første analysen gjelder lærernes svar på det kanskje mest generelle spørsmålet i hele undersøkelsen, nemlig å ta stilling til utsagnet "Nasjonale prøver er et godt redskap for meg i arbeidet mitt." Lærerne er ganske delt i holdninger til dette utsagnet. 29 prosent havner på den negative siden, 30 prosent er nøytrale, mens 40 prosent har en positiv holdning. Når vi sammenlikner svarene ut fra hvor fersk erfaring lærerne har med prøven, finner vi noen små forskjeller, men de er ikke tydelige nok til å være statistisk signifikante. Som et alternativ til å presentere resultatene i tabellform med en kjikvadrattest, kan vi betrakte spørsmålet som en kontinuerlig variabel som går fra en til fem, der en er «Helt uenig» og 5 «Helt enig». En sammenlikning av gjennomsnitt med konfidensintervall viser at forskjellene mellom de tre gruppene er helt marginale. Ut fra dette mener vi det er forsvarlig å analysere materialet under ett og se bort fra hvor fersk erfaringen er. Figur V2.1 Gjennomsnittsverdier med konfidensintervall for «Ta stilling til utsagnet "Nasjonale prøver er et godt redskap for meg i arbeidet mitt."». Etter når deltatt i prøve sist. Den neste testen gjelder et spørsmål om lærernes praksis i forbindelse med forberedelser til prøvene: «Lar du elevene øve seg til prøvesituasjonen ved å gjennomføre en eller flere prøver på liksom?» 191