Ola Hoff Kaldestad & Cathrine Borgen: Ståstadsanalysen nokre erfaringsbaserte kommentarar. Prosjekt: Ny start felles grunnlag aktive elevar. Kvam kommune 1. KORT OM PROSJEKTET OG FORMÅLET MED ARTIKKELEN Prosjektet Ny start felles grunnlag aktive elevar har vorte til innanfor Fra ord til handling paraplyen til Utdanningsdirektoratet, og har omfatta to delprosjekt. Det eine gjeld Norheimsund og Øystese ungdomsskular som det var planar om å slå saman til ein skule: Kvam ungdomsskule. Det andre delprosjektet gjeld nye Strandebarm skule der fire skular vart slegne saman til ein kombinert barne og ungdomsskule. Tanken var å etablera ei felles pedagogisk plattform som omfatta verdiar, lærings og elevsyn på skulane i forkant av samanslåinga. I tillegg til samanslåinga og arbeidet med å etablere felles verdiar, hadde kvart delprosjekt også andre fokusområder. I prosessen arbeidet Kvam ungdomskule med tema elevvurdering, og Strandebarm skule med vitenskapspedagogikk gjennom et samarbeid med Vil Vite senteret i Bergen. Gjennom de to delprosjektene ønskte ein å få til gode prosessar i omstrukturendringsarbeidet, både for tilsette, elevar og foreldre. Etter at prosjektet var i gang, endra heradstyret vedtaket om skulesamanslåing for ungdomsskulane i Norheimsund og Øystese. Slik vart rammene for dette delprosjektet dramatisk endra. I forståing med skulesjefen, prosjektleiinga og kompetansemiljøet valde ein likevel å vidareføre viktige delar av prosjektet. Målet var framleis å få til gode prosesser som kunne utvikle samarbeidet mellom dei involverte ved dei to skulane. Dette vart sett på som viktig både fordi ein med det får eit utvida fagmiljø lokalet og fordi samarbeid mellom naboskular har verdi i seg sjølv uansett resultatet av skulesamanslåingsdebatten.delprosjekt 2, Nye Strandebarm skule, vart ikkje berørt av det politiske vedtaket, og har gått som planlagd. Skulesamanslåinga for dei 4 skulane som skulle bli den nye Strandebarm skule fann stad i juni 2008.Tilbakemeldinga frå leiing og tilsette ved Strandebarm skule er at ein dei første månadane i stor grad har konsentrert seg om det praktiske rundt det å flytta inn i ny skule, og at ein er komme godt i gang med det viktige arbeidet å utvikla ein felles skulekultur. Ein erkjenner også at dette er ein prosess som vil ta tid og by på utfordringar.
I samband med Fra ord til handling vart det lagt vekt på at alle skular som fekk prosjektmidlar, skulle gjennomføra ståstadsanalysar i forkant, gjerne i kombinasjon med ein tilsvarande analyse i etterkant av prosjektet. Ståstadsanalysar skal, slik Utdanningsdirektoratet ser det, bidra til at flere skoler blir dyktigere til å vurdere egne resultater og forbedre opplæringa i tråd med kravene i Kunnskapsløftet. I brosjyra der ståstadsanalysen vert presentert, blir formålet med denne presisert som et verktøy for å finne ut hvor din skole eller barnehage/oppvekstsenter står, og for å prioritere hvor dere mener det er riktigst og viktigst å gå akkurat nå. Ideen med ståstadsanalysar er god. Ståstadsanalysane kunne vært interessant, både som ein før etter analyse og som ei kartleggingsanalyse i forkant av skuleutviklingsarbeid og for å få oversikt over korleis personalet vurderer ulike sider ved verksemda i skulen. I samband med dette prosjektet ble ståstadsanalysen brukt som bakgrunn for ein samtale om kulturskilnader ved dei ulike skulane, ikkje minst når det gjaldt opplevinga av kva kvalitet eller mangel på slik ein hadde ved skulen ein arbeider på. I forkant av prosjektet Ny start felles grunnlag aktive elevar vart det gjennomført ståstadsanalysar ved dei seks aktuelle skulane i Kvam. Desse vart sendt direktoratet for statistisk handsaming og resultata vart så i begge delprosjekta framlagde av ein representant for kompetansemiljøet på ein plandag der personalet for dei involverte skulane tok del. Skulesamanslåinga i samband med det eine del prosjektet i Kvam vart lagt på is av heradstyret. Slik vart eit av grunnvilkåra for dette prosjektet endra, og direktoratet valde å avbryta prosjektstønaden andre året for dette delprosjektet. Det andre delprosjektet hald fram som planlagt. Denne artikkelen tek utganspunkt i dei gode intensjonane med ståstadsanalysar i tilknyting til prosjekta intensjonar vi kan stilla oss bak. Tanken er å stilla nokre spørsmål ved den konkrete utforminga analysen har fått frå direktoratet si hand. Spørsmålet er kor veleigna han faktisk er når det gjeld å realisera dei gode intensjonane. 2. VURDERING AV SPØRSMÅLA 2.1. KVALITETEN AV PÅSTANDSFORMULERINGANE I STÅSTADSANALYSEN Påstandsbatteriet informantane skal uttala seg om dekkjer mange ulike og viktige sider ved skulen sitt arbeid og skulen sitt miljø. Fleire av dei er likevel ikkje eintydige å forstå, og då vert også tolkinga av svara vanskeleg. Ser vi t.d. på første påstanden: Elevene kan løse konflikter på en konstruktiv måte, vil det vera vanskeleg å vita om ein får vurdert elevane sin evne ( er i stand til ) til å løysa konfliktar konstruktivt, eller om svararen uttalar seg om i kva grad elevane
faktisk nyttiggjer seg slike evner i løysinga av konfliktar. Om det er det siste ein er på jakt etter, ville det vera meir naturleg formulera påstanden slik: Elvene løyser konfliktar på ein konstruktiv måte. Det neste spørsmålet: Elevene får trening i å samarbeide med ulike medelever, ville det vera vanskeleg å tenkja seg at nokon svara ved å kryssa av i raud kategori. Dersom formålet med spørsmålet er å få lærarane si vurdering av elevane sine praktiserte samarbeidsevner, kunne ein kanskje formulert seg slik: Elevane samarbeider(godt) med ulike medelevar. Sidan grøn kategori er presisert gjennom omgrepet tilfredsstillande er det litt vanskeleg å plassera eit omgrep som godt, eller for den del tilfredsstillande inn i påstanden. Det fører for langt i denne samanhengen å gå gjennom alle påstandane kritisk på denne måten, og for all del: Dei fleste formuleringane er relativt eintydige og kommuniserer truleg ok. Dette er likevel vanskeleg å vita sikkert utan at ein kjenner utprøvingsprosedyren skjemaet har vore gjennom. Vi vil seinare koma attende til validitetsspørsmål der vi signaliserer korleis ein slik kontroll kan byggjast inn i skjemaet. 2.2. AVKRYSSINGSKATEGORIANE Skal avkryssningsalternativa i slike undersøkingar kunna brukast til statistiske formål, bør kategoriane vera eksklusive. I dette høvet kan det i det minste stillast spørsmål ved dette. Grøn kategori: Skolens praksis er tilfredsstillende og i tråd med glansbildet, slit til og med den indre validiteten. At noko er tilfredsstillande tyder ikkje utan vidare at det er i tråd med glansbiletet. Eit døme på at dette ikkje er tilfelle er det gamle gymnaset sin karakter T, som var ei forkorting for tilfredsstillande, men som ikkje var i tråd med glansbiletet. Dei som skal kryssa av på skjemaet og som meiner at noko er tilfredsstillande kan enda opp med å kryssa av for gul kategori, dersom deis kil mellom tilfredsstillande og glansbiletet og tenkjer at det som er tilfredsstillande bør betrast for at glansbiletet skal kunna realiserast. Gul og raud kategori er heller ikkje utan vidare eksklusive. Språkleg er det eit tilsynelatande greitt skilje mellom betrast og endrast, der betrast uttrykkjer at ein berre skal anstrengja seg for å nå lenger på den vegen ein går, medan endrast inneber at ein må velja ein annan veg. I nokre samanhengar uttrykkjer likevel omgrepa ulikt nivå. Vi kan argumentera for at om noko skal betrast, så må det endrast. Når denne type problem oppstår i tolking av kategoriane og grenseoppgangane mellom desse, kan fort skulekulturelle trekk avgjera om ein kryssar av i den eine eller andre kategorien. Ein kultur som markerer indre samhald og som er profesjonelt lojal i forhold til skuleutviklinga vil gjerne resultera i overvekt på grøn kategori for dei som les tilfredsstillande med strek under ut frå tanken: Vi er på rett veg, men vi skal arbeida vidare med forbetringar. Ein meir sjølvkritisk skulekultur vil gjerne hengja seg opp i glansbilete omgrepet og heller kryssa av for at praksis må betrast. Eit tilsvarande resonnement kan gjerast gjeldande når valet står mellom dei to siste kategoriane.
Desse resonnementa synleggjer det problematiske i å samanlikna skular gjennom slike skjema. Når skular kan ha ulik gjennomsnittscore på enkeltfaktorar eller på grupper av faktorar kan det altså like godt vera eit spørsmål om måten å uttrykkja seg på i skulekulturen som på verkelege skilnader mellom skular. Om skulespesifikke resultat då vanskeleg let seg samanlikna, kan resultat likevel vera valide i før etter testar der endringar i oppfatning av eigen organisasjon er poenget. 2.3. SPØRSMÅL SOM BURDE VORE MED Sidan frekvensfordelingar med bakgrunn i spørjeskjemaet blir rekna ut sentralt, er det sjølvsagt eit poeng at skjemaet er likt frå skule til skule. For å skapa større relevans og entusiasme rundt ståstadsanalysen, er det eit poeng at deltakarane i den analyserte organisasjonen sjølv er med og utviklar nokre skulespesifikke spørsmål med bakgrunn i det skulen sjølv arbeider med og har fokus mot. Desse kunne ha utviklast som eit appendiks til den tilsendte skjemaet og gje tilleggsinformasjon til skulen på område ein gjerne ville ha synspunkt på. Sidan ståstadsanalysen er tett knytt opp til prosjektet, Kunnskapsløftet fra ord til handling, er det underleg at det ikkje er spørsmål/påstandar som går direkte på effekten av dei konkrete prosjekta. Det kunne vore stilt spørsmål/påstandar i det skjemaet som skal ut før prosjektet er i gang om kvifor ein meiner prosjektet er viktig og om kva forventningar ein har til den effekten prosjektet har på organisasjonen. Ein eventuell ettertest kunne vore supplert med spørsmål/påstandar der informantane uttalar seg om prosessen og resultatet av prosjektet. Slike utsegner kunne, om ønskjeleg, allmenngjerast slik at dei kunne ha gått inn det opphavlege påstandsbateriet. 3. TOLKING OG TILBAKEMELDING MED BASIS I RESULTATA FRÅ STÅSTADSANALYSEN 3.1. BAGRUNNSFAKTORAR Når råmaterialet blir sendt direktoratet, følgjer eit prosentfordelt kategoriskjema tilbake. Slike skjema gjev gjerne lite informasjon i seg sjølv, og treng og tolkast av ekspertar. Problemet i denne samanhengen er at ein har svært få referansepunkt og kriterium når ein går inn i tolkingsprosessen. I elevskjemaet er resultata stilte opp i forhold til landsgjennomsnitt. Det gjev noko hjelp i tolkingsprosessen tilsvarande gjeld ikkje for lærarskjema. For tolkinga ville det vore nyttig å kunna samanlikna resultat med basis i eit batteri med bakgrunnsfaktorar. Slik kunne ein fått informasjon om svar på om påstandar hadde variert i forhold til klassenivå, kjønn, læraransiennitet med meir.
3.2. LINJER FOR AVKRYSSNINGSKOMMENTARAR Tolkinga av resultata ville bli langt lettare om det var rom for å kommentera eiga avkryssing i skjemaet. Då ville ein kunna avsløra mistydingar og få forklaring på fenomen som har årsaker tolkaren vanskeleg kan resonnera seg fram til. Om t.d. dei fleste lærarar kryssar av for gul eller raud kategori på påstanden: Elevene bruker skolebiblioteket aktivt i læringsarbeidet, er det ein interessant tilleggskommentar at skulebiblioteket har vore avstengt i to månader pga av oppussing. Påstanden: Læreren kan starte undervisningen med en gang timen begynner uten å bruke mye tid på å få ro i klassen, er eit eksempel på ein påstand som kan tolkast på ulik måte. (Han kunne såleis godt tent som eit anna eksempel under punkt 1.1.) I denne samanhengen kan det gjera stor skilnad for avkryssinga om læraren tenkjer på sin klasse når han kryssar av eller på det generelle inntrykket han har av kollegiet. Ei presisering av kva ein har hatt i tankane når ein kryssa av, ville då vera til hjelp for tolkinga. 3.3. ANONYMITET Nokre av påstandane i ståstadsanalysen vil gjerne vera slik at ikkje alle synest det er greitt om den avkryssinga dei har gjort blir kjent. Ærlege svar er difor ofte avhengig av at informantane kjenner seg sikre på at anonymiteten er ivareteken. Dette er særleg eit problem i små kollegium. Det krev at data blir handsama profesjonelt. Anonymiteten må ivaretakast gjennom måten data blir presenterte på. Det tyder t.d. at ein må vera meir varsam med å bryta svar ned på bakgrunnsfaktorar jo mindre skulen er. 3.3. FØR/ETTER TEST I Utanningsdirektoratet si brosjyre, Ståstedsanalysen. Hvilken vei skal vi velge?, tilrår ein at Ståstadsanalysen vert nytta kvart år. Poenget er at ein då kan registrera endringar i dei tilsette si oppfatning av korleis det står til på ulike område på skulen. Dette er ein interessant tanke også fordi ein kan få eit mål på om fokus på eit område og betra resultat på dette, fører med seg at ein misser fokus på andre viktige område, og oppnår tilsvanande dårlegare resultat på den del av undersøkinga som gjeld desse. Undersøkinga kunne då vera viktig dokumentasjon på om det faktisk er slik at skuleutvikling ofte berre fører til skifte av fokus og ikkje til skuleforbetring i det større perspektivet. Også på dette området ville det vore interessant med nokre spørsmål som gjekk meir direkte inn på effekten av prosjektet. Her kunne ein tenkja seg påstandar av typen: Prosjektet vi har arbeidd med innanfor kunnskapsløftet har ført til at - elevane har prestert betre i faga - klassemiljøet har blitt betre
- relasjonen mellom skuleleiing og andre tilsette har blitt betre enn han var før prosjektet tok til - samarbeidet med foreldra har blitt betre - eit betra samarbeidsklimaet i skulen sitt vaksne miljø Påstandar av typen: Eg trur prosjektet vil bli ein del av skulen sin lokale læreplan også i åra som kjem, vil også gje interessante signal om potensialet for å integrera det nye i skulen sin kvardag over tid. Det ville også vera av interesse å få ein samtale rundt ein påstand av typen: Den største utfordringa i samband med realiseringa av prosjektet var Også når det gjeld før etter testen, vil det vera viktig for dei fleste skular å få hjelp frå folk med forskingsmetodisk kompetanse når deg gjeld å forstå kva testen gjev melding om og kva han ikkje gjev melding om 3.4. STÅSTADSANALYSEN SOM UTGANGSPUNKT FOR SKULEFORBETRING Eit av formåla med ståstadsanalysen er: Presentasjonen legges frem for resten av kollegiet og danner utgangspunkt for diskusjon, hvor målet er å komme frem til forslag til tiltak for en forbedret pedagogisk praksis. Arbeidsgruppen diskuterer anbefalingene og lager en innstilling om nødvendige tiltak for ledelsen (Brosjyre frå Udir). Det er sjølvsagt rimeleg at ståstadsanalysen dannar utgangspunkt for ein diskusjon om skuleutvikling i kollegiet. Dette viser seg likevel å vera vanskeleg fordi ein ikkje har kriterium eller samanlikningsgrunnlag å setja resultat analysen opp mot. Det kan vera freistande å la statistikken styra prioriteringane på den måten at der ein har stor kategori raude svar, der tilseier tyngdekrafta at ein må gjera noko dramatisk. Det kan like godt argumenterast for at høg prosent gule svar signaliserer auka innsats. Om vi tolkar gul kategori rett, er det ein stad å kryssa av for den som meiner ein er på rett veg, men komen sørgjeleg kort av garde. Det kan også godt henda at ein har større fokus mot det ein lukkast rimeleg bra med ut frå tanken om at skulen skal profilera seg på det ein er god på og som gjer han unik. Det kjem med andre ord an på i kva grad dei ulike påstandane i ståstadsanalysen blir oppfatta som viktige i skulekulturen. 3.5. STÅSTADSANALYSEN OG FRÅ ORD TIL HANDLING Ståstadsanalyssen skal gjennomførast før tildeling av prosjektmidlar finn stad. I praksis ventar då mange skular med denne til ein ser om ein får tildelt midlar. Ideelt sett er det ein viktig intensjon med ståstadsanalysen at han skal danna grunnlag for skuleutvikling. Då burde han koma før utteikninga av prosjektet det blir søkt stønad til fann stad. Slik kunne han hatt betyding for den debatten som ligg til grunn for prioriteringa av eit søknadsområde. No kjem han på eit tidspunkt som i verste fall
fører fokus bort frå prosjektet det er søkt midlar om og over på nye område der skulen scorar lågt på analysen. 4. NOKRE KONKLUDERANDE TANKAR OG ORD OM DET VIDARE ARBEIDET VED STRANDEBARM SKULE Tanken med tettare oppfølging og dokumentasjon når det gjeld skuleutviklingsprosjekt med offentleg stønad med sikte på at resultata skal kunna etterprøvast og spreiast, er god. Mykje interessant skuleutvikling har hatt for lite overføringsverdi fordi ein veit for lite om korleis det nye faktisk har fungert i praksis. Ståstadsanalysar er ein interessant lekk i eit slikt arbeid med å dokumentera god praksis. Det er då viktig at instrumentet er kvalitetssikra og tilpassa dei prosjekta det skal vera ein del av. Det må kort og godt skreddarsyast for det einskilde prosjektet. Vi trur dette kan gjerast med ein kombinasjon av generelle og prosjektspesifikke spørsmål. Dei prosjektspesifikke spørsmåla må gjerne utviklast i eit samarbeid mellom personale og ein person med forskingsmetodisk kompetanse. Statistikk med basis i eit spørjeskjema åleine kan vera vanskeleg å tolka, både fordi ein har lite samanlikningsgrunnlag og fordi ein har fått for lite informasjon i skjemaet som kan gje hjelp til tolkinga. Det er vår erfaring at ein med relativt små korreksjonar kan utvikla ein langt meir tenleg undersøkingsreiskap. Over (punkt 2.2) er det kommentert utfordringa ved å samanlikne skulespesifikke resultat. Vi opplevde at skulene hadde uttrykkja seg forskjellig da dei gav svar på ståstadsanalysen, og at det som kunne oppfatast som skilnad mellom skuler like gjerne kunne handle om forskjellige måtar og oppfatte dei ulike skulekulturane på. I eit utviklingsarbeid som har skulesamanslåing som hovedfokus fant vi med utgangspunkt i det som er kommentert i det tidligare, ikkje ståstadsanalysane som eit godt verktøy. Når ståstadsanalysane heller ikkje konsentrera seg om prosessen og resultatet av dei aktuelle prosjekta (punkt 2.3), ser vi det lite teneleg å gjennomføre ein ettertest. Som nemnt er eit av måla med ståstadsanalysen å komme fram til forslag til tiltal for forbetra praksis (punkt 3.4). Delprosjektet ved Strandebarm skule ser viktigheita av å arbeide med evaluering og utvikling mot forbetra praksis, og har saman med fagmiljøet utarbeida si eigen strategi for dette arbeidet. Ved prosjekt slutt vil det komme ein kort rapport om korleis dette ble gjort.