Evaluering av kunnskapsprøven

Transkript

1 Evaluering av kunnskapsprøven Oppsummering: Det ble i perioden 1. oktober 2015 til 13. januar 2016 gjennomført en evaluering av kunnskapsprøven i GOS og AFR. Hovedfunnene i undersøkelsen viser at kandidatene jevnt over er fornøyde med vanskelighetsgraden og innholdet i kunnskapsprøven. Fullstendig svarfordeling ligger vedlagt i vedlegg 1, og fullstendig analyse av sammenhengene i svarfordelingen i vedlegg 2. Metode og utvalg: Evalueringen bestod av 16 spørsmål, med mulighet til fritekst på det siste spørsmålet Den ble stilt til samtlige kandidater i form av et spørreskjema etter endt kunnskapsprøve Totalt besvarte 522 stykker evalueringen Den totale beståttprosenten hos kandidatene som deltok i evalueringen var på 76%. Prøvegjennomføringen fordelte seg slik: o 98 stykker gjennomførte AFR med tverrgående emner o 36 AFR uten tverrgående emner o 97 GOS med tverrgående emner o 16 GOS uten tverrgående o 236 tok kun tverrgående emner. Analyse: Evalueringen er behandlet i Excel, ved hjelp av pivottabeller og grafer. Det er ikke brukt statistikkprogramvare utover dette, og det er dermed ikke testet om funnene i evalueringen er signifikante. Det må derfor tas høyde for at evalueringen ikke gir et helhetsinntrykk av normen i bransjen, men kun ser på resultatene fra de konkrete tilbakemeldingene i tidsintervallet undersøkelsen er gjennomført i. Utvalget er imidlertid relativt stort samtidig som undersøkelsen er gjennomført over et lenger tidsintervall, noe som gjør at vi likevel kan si at evalueringen kan gi en pekepinn.

2 Hovedfunn i undersøkelsen Alder utdannelse og erfaring Alder, erfaring og utdannelse varierer fra kandidat til kandidat. Evalueringen viser imidlertid at kandidatene over 56 år hadde høyest strykprosent på 34 %, mens aldersgruppen hadde lavest strykprosent på 19%. Kandidatens erfaring ser også ut til å ha en sammenheng med beståttprosenten i denne evalueringen. Kandidater med 0-1 års erfaring hadde en strykprosent på hele 34%, mens de øvrige lå på rundt 20 %. Lengden på utdannelse utgjorde ingen stor forskjell, men de som har lenger utdannelse har generelt en høyere beståttprosent. 2. Hvor mange års erfaring har du fra finansbransjen? Og Bestod du KP 0 til 1 år 1 til 5 år 5 til 10 år Over 10 år Totalt Bestått 65,60 % 80,25 % 78,82 % 78,47 % 392 Ikke bestått 34,40 % 19,75 % 21,18 % 21,53 % 124 Totalsum Hva er din alder? år år år år Over 56 år Totalt Bestått 73,24 % 76,77 % 80,58 % 75,00 % 65,96 % 393 Ikke bestått 26,76 % 23,23 % 19,42 % 25,00 % 34,04 % 126 Totalt Forberedelser I evalueringen oppgir 86 % at de har hatt tilgang til dekkende pensum, og 76 % mener de har forberedt seg godt til kunnskapsprøven. 46 % av kandidatene som er helt enige i at de har forberedt seg godt, oppgir at de har brukt mer enn en måned til å forberede seg. De som er ganske uenige i påstanden har brukt ca. 5 til 10 timer. Kandidatene som var helt enige i at de hadde forberedt seg godt hadde en strykprosent på 18 %, mens de som var uenige hadde hele 42 % stryk. Det må imidlertid nevnes at forberedelsestid er svært individuell fra kandidat til kandidat. 7. Jeg har fått forberedt meg godt til kunnskapsprøven og bestod du KP a. Helt enig b. Ganske enig c. Verken / eller d. Ganske uenig e. Helt uenig Totalt Bestått 82,00 % 78,37 % 63,53 % 57,58 % 100,00 % 394 Ikke bestått 18,00 % 21,63 % 36,47 % 42,42 % 0,00 % 125 Totalt Videre ser vi at 77 % har gjennomført kartleggingsprøven 10 eller flere ganger. I friteksttilbakemeldingene kommer det frem at kandidatene mener at kartleggingsprøven er for enkel i forhold til kunnskapsprøven, og at det er for få spørsmål slik at samme spørsmål kommer flere ganger når testen er gjennomført over 5 ganger. De som har svart hevder at det fører til at nivået på kunnskapsprøven undervurderes, særlig i kunnskapsprøven i kun de tverrgående emnene. Dette er signaler sekretariatet også har fanget opp på mail ved ulike tilfeller. Sekretariatet ønsker imidlertid å påpeke at kartleggingsprøven ikke er ment til å teste kandidatenes kunnskapsnivå, men å forberede kandidatene på prøveformen med avkrysning og begrenset tid. Øvrige funn i undersøkelsen viser at kandidater som oppgir at de har samarbeidet med andre har en noe høyere beståttprosent enn kandidater som ikke har gjort det. 56 % av kandidatene sier de har forberedt seg sammen med andre, og beståttprosenten hos disse var på 80%. Kandidatene som oppgir at de ikke har samarbeidet med andre hadde en beståttprosent på 70%.

3 10. Jeg har forberedt meg sammen med andre til prøven og bestått/ikke bestått Bestått 80,34 % 71,67 % 70,12 % Ikke bestått 19,66 % 28,33 % 29,88 % Totalt Innhold i kunnskapsprøven Evalueringen av kunnskapsprøven får jevnt over en god score. Kun 14 % mente kunnskapsprøven ikke hadde riktig vanskelighetsgrad, og kun 13 % mente resultatet ikke var riktig for deres kunnskapsnivå. Spørsmål 11 og 12 får imidlertid en noe høyere negativ tilbakemeldingsprosent. 1 av 4 mener at det ikke brukes forståelig språk i testen, og 18 % mener at svaralternativene ikke passer til spørsmålene/utsagnene. Strykprosenten hos kandidatene som var negative til disse spørsmålene var imidlertid på nesten på 40 %, noe som kan ha bidratt til den negative tilbakemeldingen. I friteksttilbakemeldingene påpekes det også at det er noen skrivefeil, dårlige formuleringer og like svaralternativer som kan medvirke til at kandidatene blir forvirret. 11. Det brukes et forståelig språk i prøven og bestått/ikke bestått Bestått 85,77 % 70,54 % 60,16 % Ikke bestått 14,23 % 29,46 % 39,84 % Totalt antall Svaralternativene er relevante og passer god til spørsmålene/utsagnene og bestått/ikke bestått Bestått 86,76 % 64,94 % 61,11 % Ikke bestått 13,24 % 35,06 % 38,89 % Totalt antall (17%) 13. Kunnskapsprøven hadde riktig vanskelighetsgrad og bestått/ikke bestått Bestått 85,67 % 64,49 % 47,30 % Ikke bestått 14,33 % 35,51 % 52,70 % Totalt antall (14%) 14. Resultatet jeg fikk virker riktig for mitt kunnskapsnivå og bestått/ikke bestått Bestått 91,26 % 45,88 % 28,79 % Ikke bestått 8,74 % 54,12 % 71,21 % Totalt antall (12%)

4 Oppsummering Det er ingen store bransjeforskjeller i tilbakemeldingene. Overordnet er kandidatene fornøyde med prøven. Fagrådene har allikevel gjennomført en revidering av både kartleggingsprøven og kunnskapsprøven, der det både ble sjekket for dårlige formuleringer, og luket ut svaralternativer som kan medvirke til at kandidatene blir forvirret. Scoreprosenten til oppgavene bør være et godt utgangspunkt for revideringen. Dette på bakgrunn av tilbakemeldingene i evalueringen. Vanskelighetsgraden på kartleggingsprøven er av fagrådene vurdert til å være lik den reelle kunnskapsprøven, men at prøven vil oppleves lettere ved flere gjennomføringer grunnet en begrenset spørsmålsbase. Spørsmålsdatabasen til kartleggingsprøven er under utvidelse.

5 Vedlegg 1: Svarfordeling pr. spørsmål: 1. Besto du kunnskapsprøven? 2. Hvor mange års erfaring har du fra finansbransjen? 3. Hvor lang utdanning har du etter videregående skole?

6 4. Hva er din alder? 5. Har du gjennomført hele kartleggingstesten? 6. Hvor mye tid har du lagt ned i forberedelsene til kunnskapsprøven?

7 7. Jeg har fått forberedt meg godt til kunnskapsprøven 8. Jeg har hatt tilgang på dekkende pensum til kunnskapsprøven 9. Jeg har deltatt på organisert opplæring før kunnskapsprøven

8 10. Jeg har forberedt meg sammen med andre til prøven: 11. Det brukes et forståelig språk i prøven 12. Svaralternativene er relevante og passer god til spørsmålene/utsagnene

9 13. Kunnskapsprøven hadde riktig vanskelighetsgrad 14. Resultatet jeg fikk virker riktig for mitt kunnskapsnivå

10 Vedlegg 2: Sammenhenger i svarfordelingen 2. Hvor mange års erfaring har du fra finansbransjen? Og Bestod du KP 0 til 1 år 1 til 5 år 5 til 10 år Over 10 år Totalt Ja 65,60 % 80,25 % 78,82 % 78,47 % 392 Nei 34,40 % 19,75 % 21,18 % 21,53 % 124 Totalsum Vi ser at gruppen med minst arbeidserfaring har en høyere strykprosent enn de resterende. 3. Hvor lang utdanning har du etter videregående skole? Og bestått ikke bestått 0 år 1 til 2 år 3 til 4 år Over 5 år Totalt Ja 71,68 % 71,79 % 77,88 % 82,26 % 392 Nei 28,32 % 28,21 % 22,57 % 17,74 % 126 Totalt Vi ser at jo lenger utdannelse kandidaten har, desto høyere blir beståttprosenten. 4. Hva er din alder? Bestod du KP? år år år år Over 56 år Totalt Ja 73,24 % 76,77 % 80,58 % 75,00 % 65,96 % 393 Nei 26,76 % 23,23 % 19,42 % 25,00 % 34,04 % 126 Totalt Aldersgruppen over 56 år har høyere strykprosent enn de resterende. 6. Hvor mye tid har du lagt ned i forberedelsene til kunnskapsprøven? Og bestod du KP 1 til 2 uker 3 til 4 uker 5 til 10 timer Mer enn en måned Totalt Ja 78,17 % 73,27 % 75,40 % 75,84 % 393 Nei 21,83 % 26,73 % 24,60 % 24,16 % 125 Totalt Det er ingen stor forskjell på beståttprosenten sett i sammenligning med forberedelsestiden som er brukt. 7. Jeg har fått forberedt meg godt til kunnskapsprøven og hvor mye tid har du brukt 1 til 2 uker 3 til 4 uker 5 til 10 timer Mer enn en måned Totalt antall a. Helt enig 23,84 % 21,19 % 9,27 % 45,70 % 151 b. Ganske enig 29,10 % 22,54 % 21,72 % 26,64 % 244 c. Verken / eller 36,47 % 11,76 % 43,53 % 8,24 % 85 d. Ganske uenig 15,15 % 6,06 % 57,58 % 21,21 % 33 e. Helt uenig x x x x 6 (for lite utvalg) Totalt Av gruppen som sier seg enige i at de har forberedt seg godt har 45,7% forberedt seg i mer enn en måned. I gruppen ganske enig i utsagnet, er fordelingen noe mer jevn i alle kategoriene, mens i gruppen som mener verken/eller har 43,5% forberedt seg i 5-10 timer og 36,5% i 1 til 2 uker. Til slutt ser vi at gruppen som er ganske uenige at de har forberedt seg godt har 57,58 % brukt 5-10 timer.

11 7. Jeg har fått forberedt meg godt til kunnskapsprøven og bestod du KP a. Helt enig b. Ganske enig c. Verken / eller d. Ganske uenig e. Helt uenig Totalt Ja 82,00 % 78,37 % 63,53 % 57,58 % 100,00 % 394 Nei 18,00 % 21,63 % 36,47 % 42,42 % 0,00 % 125 Totalt Vi ser at strykprosenten henger sammen med svarene i «Jeg har fått forberedt meg godt til kunnskapsprøven», da beståttprosenten er betydelig høyere hos kandidatene som mener de har forberedt seg godt i forhold til de som er uenige. 9. Jeg har deltatt på organisert opplæring før kunnskapsprøven a. Helt enig b. Ganske c. Verken / eller d. Ganske uenig e. Helt uenig Totalt enig Ja 82,24 % 70,21 % 66,67 % 59,38 % 76,69 % 393 Nei 17,76 % 29,79 % 33,33 % 40,63 % 23,31 % 125 Totalt Ingen sammenhenger. 10. Jeg har forberedt meg sammen med andre til prøven og bestått/ikke bestått Ja 80,34 % 71,67 % 70,12 % Nei 19,66 % 28,33 % 29,88 % Totalt Kandidater som oppgir at de har samarbeidet med andre har en høyere beståttprosent enn kandidater som ikke har gjort det. 11. Det brukes et forståelig språk i prøven og bestått/ikke bestått Ja 85,77 % 70,54 % 60,16 % Nei 14,23 % 29,46 % 39,84 % Totalt antall Kandidater som har en vennlig innstilling til språket brukt i prøven har en høyere beståttprosent enn de som ikke liker språket. 12. Svaralternativene er relevante og passer god til spørsmålene/utsagnene og bestått/ikke bestått Ja 86,76 % 64,94 % 61,11 % Nei 13,24 % 35,06 % 38,89 % Totalt antall % av kandidatene var negative til utsagnet. Kandidatene som mener svarene er relevante og passer god til spørsmålene/utsagnene, har en mye høyere beståttprosent enn de som mener de som var negative til dette.

12 13. Kunnskapsprøven hadde riktig vanskelighetsgrad og bestått/ikke bestått Ja 85,67 % 64,49 % 47,30 % Nei 14,33 % 35,51 % 52,70 % Totalt antall % oppgir at de mener kunnskapsprøven ikke hadde riktig vanskelighetsgrad. Disse har en mye høyere strykprosent enn de som mener den hadde riktig vanskelighetsgrad. 14. Resultatet jeg fikk virker riktig for mitt kunnskapsnivå og bestått/ikke bestått Ja 91,26 % 45,88 % 28,79 % Nei 8,74 % 54,12 % 71,21 % Totalt antall % oppgir at de mener resultatet de fikk ikke virket riktig for deres kunnskapsnivå. Disse har en mye høyere strykprosent enn de som mener den hadde riktig vanskelighetsgrad.