Spørreundersøkelsen om PISA blant Utdanningsforbundets medlemmer Utdanningsforbundet har ønsket å gi medlemmene anledning til å gi uttrykk for synspunkter på OECDs PISA-undersøkelser spesielt og internasjonale undersøkelser generelt. I den forbindelse har avdeling for utredning i Utdanningsforbundet fått i oppdrag å gjennomføre en elektronisk undersøkelse blant et utvalg medlemmer, samt bistå i utarbeidingen av spørreskjema. Nedenfor presenteres undersøkelsens utvalg, design m.m. og hovedresultater fra de første analysene. Undersøkelsens design, svarprosent m.m. 1. Undersøkelsen ble gjennomført elektronisk i perioden 15.09 07.10.2008 1 og sendt et tilfeldig utvalg yrkesaktive 2 medlemmer i Utdanningsforbundets seksjon grunnskole, videregående opplæring og skoleledere. Det ble foretatt 1 purring. 2. I denne artikkelen presenteres resultater for lærere (pedagogisk stilling/undervisningsstilling) og skoleledere (rektorer, inspektører, avdelingsledere etc.) i grunnskolen. 3. Fordi undersøkelsen skulle gjennomføres elektronisk, ble utvalget trukket blant medlemmer registrert med e-postadresse i medlemsregisteret (per 28/8-08 ca. 45 %). 4. Populasjon, brutto- og nettoutvalg, og svarprosent: a. Grunnskole populasjon: 62552, bruttoutvalg: 3 1515, nettoutvalg (antall svar): 507, svarprosent: 38 b. Skoleledere populasjon: 5578, bruttoutvalg: 4 502, nettoutvalg (antall svar): 245, svarprosent: 53 5. Representativitet: en sammenlikning av alders- og kjønnsfordelingen i 1) den aktuelle medlemsmassen, 2) de vi har registrert med e-postadresse og 3) nettoutvalget i de enkelte grupper kan oppsummeres slik: a. Kjønn: For lærerne i grunnskolen finner vi at kjønnsfordelingen identisk i medlemsmassen totalt og blant de som er registrert med e-postadresse (ca. 75 % kvinner). I (netto)utvalget i denne undersøkelsen er andelen kvinner noe lavere (67 % kvinner). For lederne i grunnskolen er kjønnsfordelingen tilnærmet identisk i disse gruppene (ca. 50/50). b. Alder: For lærerne i grunnskolen finner vi en større andel i de yngste aldersgruppene blant de som er registrert med e-postadresse sammenliknet med medlemsmassen som helhet (f.eks. er hhv. 41 % og 27 % er 35 år eller yngre). Respondentene i (netto)utvalget i denne undersøkelsen befinner seg aldersmessig midt i mellom (34 % er 35 år eller yngre). For lederne i grunnskolen er særlig andelen i de eldste aldersgruppene (56 +) noe mindre, både blant dem vi har 1 Programvare: Easyresearch (http://www.easyresearch.no). 2 Yrkesaktive i jobb og med ulønnet permisjon utgjør populasjonen. 3 Ca. 200 «ikke kontaktbare». 4 Ca. 45 «ikke kontaktbare». 1
registrert med e-postadresse og i (netto)utvalget (hhv. 36 % og 34 %), sammenliknet med hele medlemsmassen (43 %). c. oppsummert kan vi si at utvalget er noenlunde representativt for populasjonen når det gjelder kjønn, mens det er noe skjevheter aldersmessig idet vi har en overrepresentasjon av yngre respondenter og en underrepresentasjon i de eldste aldersgruppene. 6. Fra nettoutvalget på 507 lærere i grunnskolen og 245 skoleledere, ble noen respondenter ekskludert fra analysene. 5 Det endelige utvalget i analysene som følger, består derfor av 442 lærere og 161 skoleledere i grunnskolen. Innledning Her presenteres resultater knyttet til tre av temaene fra undersøkelsen: 1) kjennskap til PISAundersøkelsen, 2) syn på PISA-undersøkelsen og det bildet den gir av skolen og 3) konsekvenser for det daglige arbeid. Kjennskap til PISA-undersøkelsen Blant lærerne (øverste del av figur 1) svarer om lag 50 prosent eller flere bekreftende på spørsmålene om de «er godt kjent med PISA-undersøkelsen og hva den måler», om de «følger godt med i debatten og medias presentasjon av PISA», og om de «er kjent med kritikken som er reist mot mange sider av PISA-undersøkelsen og hvordan undersøkelsen kan brukes og misbrukes». Noe færre oppgir å ha sett på PISA-oppgavene (33 %) og lest noen av PISArapportene (46 %). Blant lederne ser vi at på fire av de fem spørsmålene svarer om lag 75 5 Vi utelater naturlig nok skolelederne i videregående opplæring. I tillegg utelates de som avsluttet utfyllingen på nett relativt tidlig i skjemaet. Nesten 70 prosent av disse avsluttet såpass tidlig at vi må anta at de ikke ville. 2
prosent eller flere bekreftende, mens om lag 50 prosent oppgir at de har sett på PISAoppgavene. 6 Hovedtendensen er at lederne i større grad enn lærerne svarer ja på spørsmålene som skal kartlegge generell kjennskap til PISA-undersøkelsen. Forskjellen mellom lærerne og lederne er minst (9 prosentpoeng) på spørsmålet som gjelder kjennskap til kritikken som er reist. Resultatene referert ovenfor, gjelder alle respondenter blant henholdsvis lærere og ledere i grunnskolen uavhengig av om de svarer «ja», «nei» eller «vet ikke» på spørsmålet om de «er godt kjent med PISA-undersøkelsen og hva den måler». Det er imidlertid også interessant å se resultatene i lys av hva de svarer på dette spørsmålet. Og ikke overraskende er det relativt store forskjeller her, både blant lærere og ledere. Blant lærerne finner vi at de som svarer ja på spørsmålet om de «er godt kjent med PISA-undersøkelsen og hva den måler», også i langt større grad enn de andre svarer at de «har sett på PISA-oppgavene» (hhv. 49 og 15 %) 7 og «lest noen av PISA-rapportene (hhv. 65 og 27 %). De oppgir også i langt større grad enn de andre at de «følger godt med i debatten og medias presentasjon av PISA» (hhv. 87 og 44 %). Tendensen er den samme blant lederne, men forskjellen mellom gruppene er noe mindre. Syn på PISA-undersøkelsen og det bildet den gir av skolen I figur 2a og 2b presenteres resultater for henholdsvis lærere og ledere. Utsagnene er sortert etter svarfordelingene på følgende måte: Øverst har vi plassert den påstanden som størst andel er «helt eller delvis uenig» i (svaralternativ 1 og 2). Nederst finner vi påstanden som størst andel er «helt eller delvis enig» i (svaralternativ 3 og eller 4). I tillegg til verdiene 1 4, kunne respondentene krysse at på en «vet ikke»-kategori. 8 I figur 2a presenteres resultatene for lærerne. Ser vi først på ytterpunktene, ser vi at flere enn åtte av ti sier seg «helt eller delvis uenig» i at «PISA-resultatene gir et korrekt helhetsbilde av kvaliteten i norsk skole». Utsagnet med lavest andel (13 %) «helt eller delvis uenig» lyder «PISA-undersøkelsen forteller oss lite om hva vi skal gjøre for å forbedre kvaliteten i norsk skole». En hovedtendens som blir tydelig når resultatene sorteres på denne måten, er at 55 85 prosent oppgir at de er «helt eller delvis uenig» i de fire øverste utsagnene. Dette er utsagn med en positiv vinkling på PISA-undersøkelsene og det bildet den gir av skolen. De seks nederste utsagnene representerer derimot et mer kritisk perspektiv. Mellom seks og åtte av ti lærere sier seg «helt eller delvis enige» i de mer kritiske utsagnene. En annen tendens det er verdt å kommentere, er den relativt store andelen (ca. 45 70) som har krysset av på de mer «moderate» svaralternativene (2 og 3). Hadde vi benyttet en femdelt skala, ville antakelig det midterste svaralternativet fått en relativt stor andel av svarene. Vi har imidlertid valgt å bruke en firedelt skala nettopp for å unngå en stor midtkategori. 6 Forskjellene mellom lærerne og lederne er signifikante på 5 %-nivå. 7 Her er de som svarte «nei» og «vet ikke» slått sammen for å unngå for små grupper. 8 Spørsmålene var «obligatoriske», dvs. at respondentene var nødt til å krysse av på ett av de fem svaralternativene for å komme videre i skjemaet. «Vet ikke»-alternativet må antakelig tolkes både som et reelt «vet ikke»-alternativ og som et «vil ikke svare»-/«dette var et dumt utsagn»-alternativ. Det viktigste for oss har vært å gi respondentene en mulighet til ikke å ta stilling til enkelte påstander, samtidig som de skal kunne fortsette å besvare spørreskjemaet. 3
Når det gjelder skolelederne, ser vi (figur 2b) for det første de samme fire utsagnene plassert øverst i denne figuren som hos lærerne (figur 2a). Dette er utsagnene som understreker positive sider ved PISA-undersøkelsen og som om lag 50 80 prosent av lederne er «helt eller delvis uenige» i. Mønsteret er relativt likt det vi fant hos lærerne, men resultatene antyder en noe mindre kritisk holdning til disse utsagnene. Ser vi på de seks utsagnene som representerer et mer 4
kritisk syn på PISA og det bildet undersøkelsen gir av skolen, er rekkefølgen litt annerledes her enn den vi fant hos lærerne. Hovedtendensen er allikevel den samme en stor andel (ca. 65 90 %) av skolelederne i grunnskolen er «helt eller delvis enig» i utsagnene som gjenspeiler et kritisk syn på PISA-undersøkelsen og bildet den gir av skolen. Også her er det interessant å undersøke i hvilken grad det er forskjeller i svarene til de som svarer at de «er godt kjent med PISA-undersøkelsen og hva den måler» og de andre. Blant lærerne i grunnskolen er det (signifikante) forskjeller mellom de to gruppene på ni av de ti utsagnene gjengitt i figurene ovenfor. 9 En hypotese her kunne være at de som rapporterer om god kjennskap til PISA-undersøkelsene og hva de måler, gir uttrykk for en mindre kritisk holdning til PISA. Vi finner imidlertid ikke noen éntydig tendens i denne retning. For eksempel er andelen som er «helt eller delvis uenig» i påstanden om at «PISA-undersøkelsene viser oss hva som trengs for å gjøre skolen bedre», nesten identisk i de to gruppene (ca. 70 prosent). Det samme er tilfelle når det gjelder utsagnet «PISA-debatten har gitt folk et feilaktig bilde av kvaliteten i norsk skole» 13 prosent i begge grupper «helt eller delvis uenig» i dette utsagnet. Et annet eksempel er utsagnet om at «PISA-oppgavene måler sentrale side ved norsk skole». Her er andelen som sier seg «helt eller delvis uenig» størst nettopp i gruppa som rapporterer om god kjennskap til PISA-undersøkelsen og hva den måler. 10 Blant lederne er det (signifikante) forskjeller mellom disse gruppene på to av ti utsagn. Når det gjelder utsagnet «PISA-oppgavene måler sentrale sider ved norsk skole», er andelen som er «helt eller delvis uenig» og andelen «helt eller delvis enig» i dette utsagnet størst blant dem som svarte at de er «godt kjent med PISA-undersøkelsen...» andelen som sier «vet ikke» er imidlertid på 15 prosentpoeng høyere i den andre gruppa. Den samme tendensen gjør seg gjeldende når det gjelder utsagnet «PISA-undersøkelsene lykkes i å måle de ferdighetene som kreves for framtidas samfunn». Oppsummert kan vi si at på dette batteriet med utsagn, er det signifikante forskjeller på ni av ti for lærernes del, og på to av ti for ledernes del. 11 Det er imidlertid vanskelig å finne noe klart mønster uten å gå dypere inn i datamaterialet. Den viktigste forskjellen er naturlig nok at de som har svart «nei» eller «vet ikke» på spørsmålet om «de er godt kjent med PISA-undersøkelsen og hva den måler» i større grad svarer «vet ikke» på utsagnene senere i undersøkelsen. Dette er i og for seg ikke overraskende, og kan kanskje til og med betraktes som «rimelig og redelig». 9 Når det gjelder utsagnet «Det mest positive ved PISA-undersøkelsen er at den setter skolen på den politiske dagsorden», er det ikke (signifikante) forskjeller mellom disse gruppene. Det er imidlertid viktig å minnes at selv om forskjellene i statistisk forstand er signifikante, betyr ikke dette at forskjellene er store eller viktige (se f.eks. Kjærnsli, Lie, Olsen og Roe (2007:289)). 10 Blant de som svarte bekreftende på spørsmålet om de «er godt kjent med PISA-undersøkelsen og hva den måler» oppgir ca. 60 prosent at de er «helt eller delvis uenige» i denne påstanden, sammenliknet med ca. 50 prosent av de andre. 11 Èn forklaring på få (signifikante) forskjeller blant lederne, er at denne gruppa er såpass liten (ca. 160). I små utvalg (og grupper) må forskjeller være relativt store for at de skal blir signifikante. 5
Konsekvenser for det daglige arbeid I figur 3 ser vi på lærere og ledere i grunnskolen i samlet. 12 Som i figur 2a og 2b, er fordelingene sortert slik at utsagnene med høyest andel «helt eller delvis uenig» er plassert øverst i figuren. På fem av tretten utsagn svarer 50 prosent eller flere at de er «helt eller delvis uenig». Bortsett fra utsagnet om at «PISA-debatten er godt kjent også blant elevene», som må kunne betraktes som et nøytralt utsagn, er det utsagnene som reflekterer et positivt syn på PISA-undersøkelsen respondentene sier seg uenige i. I nederste del av figuren finner vi utsagnene med størst andel «helt eller delvis enig». Mellom 70 og 80 prosent av respondentene svarer at de er «helt eller delvis enige» i de fire nederste utsagnene i figur 3. Dette er utsagn som representerer relativt kritiske synspunkter på PISA-undersøkelsens konsekvenser for det daglige arbeidet. Stjernen (*) foran utsagnet «PISA-oppgavene er i godt samsvar med læreplanene i norsk skole» indikerer at det er forskjeller mellom lærerne og lederne på dette spørsmålet. Forskjellen ligger primært i andelen som svarer «vet ikke», idet hele 36 prosent av lærerne svarer «vet ikke», sammenliknet med 20 prosent av lederne. Lærerne er derimot i mindre grad enn lederne enige i dette utsagnet. Det samme mønsteret gjør seg gjeldende for utsagnet «PISA bruker oppgavetyper som er godt kjent for norske elever». Det tredje utsagnet som understreker positive konsekvenser av PISA, og hvor det er forskjeller mellom lærere og ledere, er det som lyder «PISA-resultatene kan gi ekstra inspirasjon til skoler, lærere og elever». Lederne er i noe større grad enn lærerne enige i denne påstanden. Vi skal også her se litt nærmere på eventuelle forskjeller i svarene til de som svarer bekreftende på at de «er godt kjent med PISA-undersøkelsen og hva den måler» og de andre. Blant lærerne 12 Kun på tre av de tretten utsagnene er det signifikante forskjeller mellom svarene som lærere og ledere gir. Det er bare på disse tre markert med stjerne foran utsagnet i figuren vi har grunnlag for å si at det er forskjeller mellom gruppene i populasjonen, dvs. i medlemsmassen (m/e-post). 6
er det signifikante forskjeller mellom disse gruppene på alle utsagn i figur 3, med unntak av utsagnet om at «PISA-oppslagene i media gjør det mindre trivelig å være lærer». Imidlertid er det heller ikke her lett å trekke noen klare slutninger om i hvilken retning tendensene går, annet enn at forskjellen naturlig nok er størst på «vet ikke»-alternativet. Blant lederne er det forskjeller mellom disse gruppene på fire av de tretten utsagnene. [For eksempel rapporterer om lag 65 prosent av lærerne som svarte at de er «godt kjent med PISA-undersøkelsen og hva den måler», «helt eller delvis enig» i utsagnet om at «mange skoler vil kunne bruke oppgaver av PISAtypen for å forberede elever på denne typen tester». I den andre gruppa er andelen 58 prosent. Blant lederne sier om lag 50 prosent av de med god kjennskap til PISA-undersøkelsen seg «helt eller delvis uenig» i påstanden om at «PISA-oppgavene er i godt samsvar med læreplanene i norsk skole», sammenliknet med 62 prosent av lederne uten den samme kjennskapen. 85 prosent av lederne med god kjennskap til PISA sier seg helt eller delvis enig i at «foreldrenes inntrykk av skolen blir negativt farget av PISA-debatten», sammenliknet med 70 prosent i gruppa uten denne kjennskapen. Litteratur Kjærnsli, Marit, Svein Lie, Rolf Vegard Olsen og Astrid Roe (2007): Tid for tunge løft. Norske elevers kompetanse i naturfag, lesing og matematikk i PISA 2006. Oslo: Universitetsforlaget. 7