Statusrapport pr. oktober 2009 fra autorisasjonsordningen for finansielle rådgivere Tall pr. 15. oktober 2009: 131 finansbedrifter har sluttet seg til ordningen 4.477 kandidater er meldt inn 1.063 kunnskapsprøver er avlagt (1.april 2009 15.oktober 2009) 134 sensorer er opplært av AFR 137 personer er autoriserte finansielle rådgivere og har bestått både kunnskapsprøven og den praktiske prøven, dvs. har tilfredsstilt kravene til autorisasjonen a) Kunnskapsprøven Kunnskapsprøven ble gjort tilgjengelig 17. april 2009. I tiden frem til sommerferien ble det avlagt 642 kunnskapsprøver. Ved første målepunkt 26. mai var 42 % av prøvene bestått. Pr. 15. oktober var det gjennomført 1063 kunnskapsprøver i autorisasjonsordningen. Andelen som har bestått prøven ved første forsøk var da 54 %. 166 kandidater hadde avlagt prøven for andre gang, og 69 % av disse har bestått. Det er tydelige forskjeller mellom bedrifter når det gjelder bestått-prosent. En omfattende evaluering av kunnskapsprøven basert på materiale fra de 642 avlagte prøvene ble gjennomført pr. 10. juli. Hovedkonklusjonene er: 1) De tekniske løsningene fungerer tilfredsstillende. 2) Mange kandidater er kritiske til faglig innhold, nivå og relevans. En forklaring på dette kan være at kompetansekravene ikke er godt nok forankret internt i bedriftene. Det er en signifikant forskjell i score mellom kandidater som har strøket på kunnskapsprøven og de som har bestått, der de som har bestått er mer fornøyd. 3) Kandidatene har etter hvert fått bedre kjennskap til kravene, noe som fører til bedre forberedelse. Dessuten er kvaliteten på spørsmål og svaralternativer forbedret gjennom de tiltak som er blitt gjennomført. 4) Hovedutfordringer for AFR vil nå være å forankre ordningens kompetansekrav bedre i bedriftene, samt løpende kvalitetssikring av testdatabasen. I tillegg kommer utvikling av mer rasjonelle rutiner rundt passord og påmelding. Fast rutine for løpende kvalitetssikring og oppdatering av innholdet i kunnskapsprøven er under arbeid i regi av fagrådet. Utvidelse av spørsmålsdatabasen I september og oktober utvides spørsmålsbasen med 3 nye testsett, det vil si mer enn 300 nye spørsmål som leveres fra BI, SPAMA og Humanistisk akademi. Samtlige spørsmål kvalitetssikres i et samarbeid mellom spørsmålsutviklere fra leverandørene og AFRs fagråd, sekretariat og testpedagog Universitetsgt 8, Postboks 6772 St. Olav plass, N-0130 Oslo, Telefon +47 22 11 00 75, Telefax +47 22 36 25 33 www.autorisasjonsordningen.no
for å sikre ensartet forståelse av nivå, relevans, begrepsbruk m.v. I dette arbeidet tas også innspillene fra evalueringsprosjektet inn. b) Oppdateringsprøve Den enkelte bedrift har ansvar for at autoriserte finansielle rådgivere gjennomgår årlige kunnskapsoppdateringer, mens gjennomførte kunnskapsoppdateringer må dokumenteres gjennom en oppdateringsprøve hvert annet år, ref Regelverk 3-2. Arbeidet med oppdateringsprøve har startet og er satt på planen til fagrådet første kvartal 2010. c) Praktisk prøve Prøven gjennomføres av bedriftene på vegne av AFR. I skrivende stund er over 20 bedrifter kommet i gang med gjennomføring av praktisk prøve. 137 personer er registrert som autoriserte finansielle rådgivere hos AFR og har bestått begge prøvene. Den praktiske prøven er omfattende og svært ressurskrevende for bedriftene. Kandidatene skal gjennomføre en rådgivningssamtale i tre faser; behovskartlegging, egentid til oppsummering og forberedelse til møte nummer to; løsningspresentasjonen. Til sist er det en samtale om et etisk dilemma. To sensorer observerer og vurderer kandidaten. Evaluering av den praktiske prøven planlegges gjennomført pr. årsskiftet. d) Sensoropplæring og sensornettverk AFR har til nå avholdt 5 sensor-2 kurs med til sammen 134 deltakere. Tilbakemeldingen har vært meget god. AFR legger opp til å gjennomføre 1 sensorkurs per halvår fra og med 2010. For å sikre kontinuitet i det videre arbeidet er gruppen som har utarbeidet sensor 2 -kurset gjort til en permanent ressursgruppe for AFR. Sensorgruppen består av Line M. Berner fra Fokus Bank, Torgeir Flatjord fra Terra-Gruppen, Inger Frostrud fra Nordea, Bente Kristin Haugan fra SpareBank1 alliansen og Arnfinn Lian fra DnBNOR. Slik AFR ser det, er sensorenes arbeid en kritisk suksessfaktor for ordningen. Et sensornettverk er under etablering med første møte 21. oktober. Målsettingen for sensornettverket er å sikre felles forståelse og felles gjennomføring av praktisk prøve, dvs.: Bidra til lik etterlevelse av rammeverket for praktisk prøve Sikre lik praktisering av kravene for bestått/ikke bestått i bransjen på tvers av den enkelte finansbedrift Foreslå forbedringer i innhold og gjennomføring av praktisk prøve e) Tilsyn med finansbedriftene I henhold til sitt mandat skal autorisasjonsnemnda Føre tilsyn med finansbedriftene på de områder der disse ivaretar oppgaver på vegne av nemnda, dvs. gjennomføring av praktisk prøve og praktisk tilrettelegging av kunnskapsprøven. Administrasjonen har gjennomført følgende tilsyn: 2
Kunnskapsprøven: 7 gjennomføringer av kunnskapsprøven, 3 ved Folkeuniversitets testsentra og 4 bedriftsinterne. Det er lagt vekt på følgende under observasjonen / tilsynet: 1. Mottak av kandidater: - Identitetssjekk - Sjekk av hjelpemidler - Informasjon til kandidatene - Demo-test gjennomføring 2. Pålogging av testleder og pålogging av kandidat 3. Gjennomføring av prøven med tilsyn, kontroll og pauser 4. Eventuelle problemer teknisk etc. 5. Avslutning/avlogging 6. Tilbakemelding fra kandidater og testleder Hovedkonklusjonen etter disse besøkene: Bedriftene som er besøkt fører god kontroll med gjennomføringen av kunnskapsprøven. Det har vært noen tekniske problemer, spesielt med Lovsamlingen, men disse er det funnet løsninger på. Tilsynsrapport er behandlet i autorisasjonsnemnda. Det er avdekket ett regelbrudd, som er behandlet i autorisasjonsnemnda. Nye tilsyn gjennomføres med spesiell vekt på bedriftsinterne kunnskapsprøver. Praktisk prøve: Det er gjennomført 4 av 6 planlagte tilsyn høsten 2009. Følgende punkter er vektlagt ved observasjon / tilsyn: 1. Mottak av kandidat 2. Gjennomgang av innhold i praktisk prøve Gjennomføring av kundemøte 1, mellomfase mellom møte 1 og 2 og kundemøte 2 3. Gjennomgang av etisk dilemma og spørsmål rundt god rådgivingsskikk 4. Sensorenes vurdering og forberedelse av tilbakemelding 5. Tilbakemelding til kandidaten 6. Oppsummering av praktisk gjennomføring Erfaringene fra observasjonene så langt er at finansbedriftene tar sensorrollen svært alvorlig og at felles rutiner som er utarbeidet for praktisk prøve i h.h.t. regelverk og rammeverk for praktisk prøve følges. Rapport fra gjennomføringene fremlegges for autorisasjonsnemnda i desember. Faste rutiner for tilsynsarbeidet er under utforming, herunder mal for rapport fra finansbedriftene i h.h.t. regelverk 2 2: Finansbedrifter som er tilsluttet ordningen, skal sørge for å innarbeide autorisasjonsordningen i sin internkontroll/compliance-funksjon. Videre utvikling Autorisasjonsordningen har på kort sikt ikke ambisjoner om å utvide sitt arbeidsfelt ut over det som ligger i dagens mandat. Ressursene konsentreres rundt de områdene som er avgjørende for ordningen kvalitet, omdømme og plass i finansnæringen. Følgende hovedområder prioriteres i 2010: 3
1) Forankring i bedriftene og bygging av yrkesstolthet (grunnlag for at ordningen skal kunne befestes og utvikles i riktig retning) 2) Faglig videreutvikling av innholdet I kunnskapsprøven og den praktiske prøven 3) Utvikling av oppdateringsprøve 4) Regelverk, tilsyn og evaluering 5) Informasjon og merkevarebygging 6) Sikre gode arbeidsprosesser i og mellom ordningens organer 26. oktober 2009 Siv Seglem Daglig leder Autorisasjonsordningen for finansielle rådgivere 4
Vedlegg: Evaluering av kunnskapsprøven i Autorisasjonsordningen for finansielle rådgivere (AFR) gjennomført i perioden 15.4. til 10.7.09 Bakgrunn For å bli autorisert finansiell rådgiver, må rådgiveren ha ett års praksis og bestå en kunnskapsprøve og en praktisk prøve. Den 15.4. ble det åpnet opp for å ta kunnskapsprøven. AFRs organer har ønsket en evaluering av kunnskapsprøven når det gjelder teknisk gjennomføring samt innhold, nivå og relevans, slik at man har et systematisk grunnlag for justeringer og videre utvikling. I perioden frem til 10.7. har det vært avlagt 641 prøver av 583 kandidater, dvs. at 58 har tatt prøven to ganger. Evalueringen bygger således på et bredt datamateriale. Det er også avholdt møter med bedrifter om tekniske løsninger, samt en work-shop med kandidater som har gjennomført kunnskapsprøve om relevans, nivå og faglig innhold. Prosjektgruppen har bestått av Tom Knoff (prosjektleder), Siv Seglem (daglig leder AFR), Hans Jørgen Lund (testpedagog, SPAMA Kompetanseutvikling), Tor Erik Buvarp (Norsk Test). Prosjektgruppen leverte en foreløpig rapport med hovedvekt på faglig innhold og testsystemet ultimo august. Denne ble behandlet i AFRs organer. Rapport nr. 2 med hovedvekt på tekniske løsninger inkl. møter med fire bedrifter, samt oppsummering fra work-shop, leveres den 29.9. Denne inneholder også forslag til prosesser og tiltak for å oppnå forbedringer. Det foreliggende notat dekker begge rapportene. Prosjektplanen forutsetter behandling i AFRs organer i løpet av oktober/november. Datamateriale Evalueringen bygger på: - Resultater fra kunnskapsprøven - 641 gjennomføringer av 583 kandidater - Statistikk for testdatabasen som viser % -andel korrekte svar på hvert spørsmål - Resultater fra spørreundersøkelse til kandidater om faglig innhold, testsystemet og påloggingsrutiner 472 kandidater har svart - Resultater fra spørreundersøkelse til testledere om teknisk løsning og kontroll 28 svar, hvorav 22 fra bedriftene - Rapport fra gjennomførte tilsyn ved kunnskapsprøver i bedrifter og Folkeuniversitetets testsentra - Møter med 4 bedrifter om tekniske løsninger og kontroll - Work-shop med 15 deltagere fra 11 finansbedrifter. Deltagerne var rådgivere, mellomledere og medarbeidere innen HR og opplæring 5
Resultater fra kunnskapsprøven, hentet fra testsystemet Av 641 avlagte prøver er 46 % bestått. Hvis vi ser på antall kandidater, har 51 % bestått ved å ha avlagt prøven en eller to ganger. Gjennomsnittlig totalscore på prøven er 70 %. Dette tilsvarer kravet til bestått, for så vidt gjelder totalscore. Det er to emneområder som skiller seg ut med lavere score, nemlig Makroøkonomi med 59 % og Produktgrupper med 62 %. Etikk og rådgivningsprosessen skiller seg ut med høyere score på gjennomsnittlig 80 %. En kandidat må dessuten ha minst 50 % riktige svar på hvert emneområde for å bestå. Av kandidater med 70 % eller høyere score har 59 strøket fordi de har under 50 % på ett emneområde. Av alle kandidater har 134 fått under 50 % riktige svar på Makroøkonomi og 89 på Produktgrupper. En gjennomgang av totalscore avdekker at det er store forskjeller mellom resultatene for de forskjellige bedriftene, og bestått-prosentene varierer sterkt mellom dem. Hvilken bedrift en kandidat kommer fra, ser ut til å være en viktig forklaringsfaktor når resultatene skal vurderes. Resultater fra spørreundersøkelsen 472 av 583 kandidater har besvart spørreundersøkelsen, dvs. 81 %. En del av disse har svart kort tid etter prøven, mens en del andre har svart ganske lenge etter. Bestått-prosenten er 55 %, mot 51 % i hele utvalget. Respondentene er således ikke helt representative. Det er brukt to metoder i spørreundersøkelsen, positive påstander som skal scores fra 1 5 fra ikke enig til helt enig, og fritekstfelt der vi ber kandidaten skrive inn sine kommentarer. Fritekstfeltene er svært godt benyttet. Alle tekster er gjennomgått, og innspill som prosjektgruppen ser går igjen og er typiske, er gruppert for videre behandling. Teknisk løsning: Respondentene gir høy score på utsagn som gjelder testsystemet og påloggingsrutinene, dvs. de er meget fornøyd. En del kandidater vil gjerne kunne navigere fritt mellom emneområder. Vedlegg Regelverk har noen ganger skapt tekniske problemer. I noen tilfelle skyldes dette, ifølge Norsk Test, manglende kompetanse og trening hos kandidatene når det gjelder å søke i et pdf-dokument. Innhold: Når det gjelder faglig innhold, relevans og vanskelighetsgrad, herunder formuleringer av spørsmål og svaralternativer, er gjennomsnittsscoren klart lavere, dvs. at mange kandidater er kritiske. Ved vurderingen av den lave scoren må man dog huske på at kandidatenes svar er avgitt etter at mange har strøket på prøven. Fra svarene og fritekstfeltene er hovedsynspunktene at: - emner og spørsmål ikke er relevante for en bredderådgivers hverdag - vanskelighetsgraden er for høy - formuleringene av spørsmål og svaralternativer ikke er klare nok 6
Når det gjelder kommentarer om innhold, nivå og relevans, ønsket prosjektgruppen å gå dypere inn i materien og søke etter årsaker. Dette er derfor videre bearbeidet gjennom en work-shop, se eget punkt. Spørreundersøkelse for testledere: 28 testledere har svart på spørsmål vedrørende gjennomføring av prøven. Da omtrent 80 % av disse er interne i bedriftene, illustrerer svarene godt vurderingen av de interne prøvegjennomføringene. Testlederne gir høy score. Dette gjelder prosedyre med legitimering, oversiktlig lokale, at hjelpemidler er klart definert, at påloggingsrutinene er enkle og tar kort tid, samt at de ikke opplevde uregelmessig atferd under prøven. I fritekstfeltet kom både positive kommentarer samt en del forslag og tips som overlates til sekretariatet. Møter med bedriftene om tekniske løsninger Prosjektgruppen har avholdt møter med tre bedrifter som har gjennomført en rekke prøver internt, samt med DnBNOR. Formålet var å gjennomgå de tekniske løsningene og evt. få innspill til alternative rutiner. I møtet gjennomgikk vi gjennom rutiner for passordutsendelse, mottak av kandidater inkl. ID-sjekk, pålogging av testleder og kandidat, gjennomføring og kontroll, tekniske problemer samt avslutning og avlogging. Generelt sett har gjennomføringene vært tilfredsstillende og det har ikke vært noen store problemer knyttet til gjennomføringen. Resultatene fra spørreundersøkelsen ble ytterligere bekreftet. Bedriftene synes påloggingen med testleder og kandidat går greit. Avhengig av antall kandidater på en prøve tar det 5 til 15 minutter fra kandidatene kommer inn i lokalet til prøven startes. Testleder er hele tiden til stede for å ha kontroll med kandidatene. Testleders kontrollfunksjon er særdeles viktig. I tillegg er eksamensvakt til stede eller kan tilkalles på kort varsel ved behov. En del kandidater glemmer passord, noe som skaper merarbeid for bedriftsansvarlig. AFR og Norsk Test arbeider med å videreutvikle rutinen. I møtene oppfordret vi også bedriftene til å komme med andre synspunkter på kunnskapsprøven, og disse tas med i endelig evaluering. DnBNOR har hittil valgt å bruke Folkeuniversitetets testsentra for nesten alle sine kandidater. Deres rådgivere må bruke egen pc hvis prøven skal avlegges internt. Tilgang til egen arbeidsflate og mapper kan ikke stenges, dvs. at ikke-tillatte hjelpemidler kan være tilgjengelig på pc-en. I møtet uttrykte AFR at sekretariatet og Norsk Test gjerne bidrar til å prøve å finne en løsning på problemstillingen om å ta kunnskapsprøven internt uten tilgang til mapper på egen pc og med kontroll av kandidater, hvis DnBNOR ønsker dette. DnBNOR tok ellers opp en del andre spørsmål, bl.a. antall forsøk og fasit på kartleggingstesten, mulighet for en kandidat til å ta opp igjen ett emneområde av kunnskapsprøven hvis vedkommende har en totalscore på over 70 %, samt påmeldingssystem for eksternt testsenter. Work-shop Formålet med work-shopen var å få innspill på det faglige innholdet, nivå og relevans fra en rekke bedrifter som har hatt kandidater oppe til kunnskapsprøven. Videre ønsket prosjektgruppen å stille spørsmål knyttet til de store ulikhetene i resultatene for kandidater fra de ulike finansbedriftene, bl.a. med hensyn til tilrettelegging i bedriftene og forankring av ordningen. 7
Når det gjaldt relevans og vanskelighetsgrad, var det få kritiske bemerkninger. Prosjektgruppen utfordret spesielt på de tre fagområdene som skilte seg ut resultatmessig, dvs. Makroøkonomi, Produktgrupper og Etikk. Vedr. Makroøkonomi, mente deltagerne at ingen fagemner bør ut, men at noen emner er spesielt viktige, som for eksempel Penger, renter og inflasjon. Spørsmålene bør i større grad knyttes til praktiske eksempler. Innen Produktgrupper kom det innspill på at det kanskje ble stilt for høye krav til detaljkunnskap om rente- og obligasjonsregning, samt at strukturerte produkter har fått for stor plass, med tanke på at de fleste kandidater er bredderådgivere. En litt annen fordeling / vekting kan gi økt relevans. Innenfor etikk var hovedtilbakemeldingen at alt er viktig, og at her bør scoren være svært høy, minst 80 %. Deltagerne ga innspill på eksempler som kunne belyse at fagemner innen Makroøkonomi og Produktgrupper var relevante ved å peke på kundesituasjoner der slike kunnskaper var nødvendige. Det ble understreket at rådgiver må forstå kundens behov, og at en kombinasjon av teoretisk kunnskap, erfaring og god formidlingsevne er helt nødvendig for å kunne si at rådgiver har høy kompetanse innen sitt fag. Det var bred enighet om at bakgrunnen for ulik score mellom finansbedriftene var ulik grad av tilrettelegging og tilbud på opplæringssiden før kandidatene tok prøven. Når det gjaldt tilrettelegging og opplæring påpekte deltagerne viktigheten av at ledelsen gikk foran, og at bedriftene har et systematisk opplæringstilbud basert på individuelle planer. Det er en del usikkerhet og utrygghet blant de ansatte, men det ble også gitt uttrykk for at autorisasjonsordningen var etterlengtet og nødvendig, og at den ville gi et løft for næringen. Den beste anerkjennelsen av ordningen vil være at kunder ser og opplever forskjell i kvaliteten på rådgivningen. Forslag til prosesser og tiltak I prosjektgruppens rapport er det listet opp en rekke forslag til prosesser og tiltak som bør gjennomføres. I arbeidet med nivå og relevans knyttet til fagplanen, vil en hovedutfordring være å få kravene i fagplanen, både med hensyn til bredde- og dybdekompetanse, forankret hos bedriftene, dvs. hos ledelsen, mellomledelsen og rådgiverne. I tillegg bør AFR ha en dialog med utdanningsinstitusjonene om hvordan disse kan bidra til at kandidatene forstår relevansen i ulike opplæringssituasjoner. Når det gjelder vanskelighetsgrad, bør kompetansekravene først vurderes når man har fått mer erfaring med den kvalitetssikringen som gjøres med forbedrede spørsmål og svaralternativer, og justering av sammensetningen av spørsmål, dvs. tidligst våren 2010. For øvrig viser resultatene etter sommeren at strykprosentene, både på totalen og enkeltområder, er for nedadgående. Det foreslås tiltak når det gjelder vekting av emneområde (Makroøkonomi) og fagemner (innen Produktgrupper). AFR har arbeidet mye med kvalitetssikring av spørsmål og svaralternativer i henhold til testfaglige prinsipper. Det arbeides med rutiner for kontinuerlig evaluering og kvalitetssikring. Disse omfatter 8
bl.a. at %-andel riktige svar registreres for hvert spørsmål, slik at vanskelige, mindre relevante og tvetydige oppgaver identifiseres. Disse tas ut eller bearbeides før de igjen tas inn i prøven. Det foreslås videre rutiner for oppdateringer og vedlikehold av fagplan, oppgaveutforming og innhold, samt loggføring av endringer og nye oppgaver. Det foreslås også jevnlige brukerevalueringer gjennom bl.a. spørreskjema. Det er startet et systematisk arbeid med kvalitetssikring av oppgaver innen hvert emneområde mellom SPAMA, BI og fagansvarlige i AFR for felles oppfatning av innholdet, relevans og nivå. Dette skal også lede til mer enhetlig begrepsbruk. En del innspill kan besvares ved at AFR informerer om begrunnelse for tidligere vedtak. Et eksempel her er at kandidatene i kunnskapsprøven ikke har tilgang til alle hjelpemidler. Når det gjelder testsystemet, må ønsket fra en del kandidater om fri navigering mellom emneområder vurderes opp mot bl.a. behov for driftssikkerhet og kontroll med kandidatene (dvs. at muligheter for fusk ikke øker). En rekke tekniske tilpasninger av systemet vil bli bearbeidet fortløpende av sekretariatet og Norsk Test. De tekniske løsningene og kontrollen virker stort sett tilfredsstillende. Sekretariatet og Norsk Test arbeider med en forbedret rutine for passordutsendelse. I møtene med bedriftene kom det opp en del andre problemstillinger enn de som primært skal dekkes av evalueringsprosjektet. De viktigste gjelder spørsmålet om adgang til å gå opp igjen i ett eller to emneområder i stedet for å ta hele prøven på nytt, samt begrensingen i antall forsøk på tre i kunnskapsprøven. Hvorvidt disse sakene vil bli besvart på en grundig måte av sekretariatet eller behandlet videre, avgjøres av sekretariatet og evt. i AFR s organer. For øvrig vil AFR i løpet av høsten implementere et permanent påmeldingssystem for eksterne testsentra. Avsluttende kommentarer De tekniske løsningene fungerer tilfredsstillende. Imidlertid har mange kandidater vært kritiske til det faglige innholdet. Dette kan skyldes at representanter for finansnæringen har stilt kompetansekravene, mens rådgivere m.fl. i bedriftene har forventet at kravene skal være tilpasset deres nåværende hverdag. Uroen fra i vår er nå sterkt redusert fordi kandidatene har bedre kjennskap til kravene, noe som fører til bedre forberedelse. Dessuten er kvaliteten på spørsmål og svaralternativer forbedret gjennom de tiltak som er blitt gjennomført. Hovedutfordringer for AFR vil nå være å forankre ordningens kompetansekrav bedre i bedriftene og gjennomføre rutinene for kvalitetssikring av testdatabasen. I tillegg kommer utvikling av mer rasjonelle rutiner rundt passord og påmelding. Oslo, den 29.9.09 Tom Knoff Siv Seglem 9
10