21/05/14. Evaluering av FRAM

Transkript

1 21/05/14 Evaluering av FRAM

2 For information on obtaining additional copies, permission to reprint or translate this work, and all other correspondence, please contact: DAMVAD damvad.com Copyright EVALUERING AV FRAM DAMVAD.COM

3 Innhold Sammendrag 6 Executive summary 13 1 Innledning 15 2 Beskrivelse av FRAM-programmet FRAM er ett av Innovasjon Norges virkemidler tilknyttet mål om vekstkraftige bedrifter FRAM-programmet har utviklet seg over tid Målgruppen er små og mellomstore bedrifter med vilje og evne til vekst FRAM gir bedrifter kompetanse på bedriftsutvikling i ulike former FRAM-programmet administreres av Innovasjon Norge i samarbeid med private konsulenter Kjennetegn ved deltakerne i FRAM Type FRAM program 21 Bruk av FRAM innenfor/utenfor det distriktspolitiske virkeområdet 21 Bruk av FRAM i de ulike fylkene 22 FRAM-bedriftenes bruk av andre offentlige virkemidler 22 FRAM-deltakernes økonomiske utvikling skiller seg ikke fra gjennomsnittet i samme næring 24 FRAM-deltakerne innenfor det distriktspolitiske virkeområdet er gjennomgående noe svakere enn deltakerne utenfor 25 3 Evalueringsmodell og metode Relevans, målrealisering og effektivitet Virkninger av kompetansetiltak Metodetriangulering 28 Dokumentstudier 29 Spørreundersøkelse rettet mot deltakerbedrifter 29 Dybdeintervjuer med FRAM-apparatet og bedrifter. 29 Regnskapsstatistikk og propensity score matching 30 Samspillsdatabasen (DAMVAD) 30 Referansegruppemøter 30 4 Relevans FRAM skal bidra til profesjonalisering, innovasjon og markedsorientering Markedssvikten er knyttet til asymmetrisk informasjon Målgruppen til FRAM-programmet er modne for endring, men mangler informasjon om løsninger 35 Målgruppen skiller seg noe fra programtype til programtype 36 FRAM-programmet er godt innrettet for å nå målgruppen 37 FRAM-programmet når også bedrifter som antakelig ikke har reelt behov FRAM er relevant i alle geografiske områder, men benyttes i ulik grad 39 EVALUERING AV FRAM DAMVAD.COM 3

4 4.5 Deltakerbedriftene opplever samlinger og rådgivningen som relevant Er alt faglig påfyll like relevant? 40 5 Målrealisering, resultater og effekter Respondentene har vært igjennom mange forskjellige kunnskapsområder Samlingene og rådgivningen står særlig sentralt i FRAM-prosessen 47 Samlingene 47 Rådgiverne 48 Nettverket 49 Prosjektlederne Økt kunnskap og verktøy, særlig innen profesjonalisering og markedsorientering Ny kompetanse endrer adferd i bedriftene Noen bedrifter får bedre resultater som følge av deltakelse i FRAM 54 Profesjonalisering 55 Markedsorientering 55 Innovasjon 56 Økonomiske resultater 58 Bedriftene i distriktsfylker oppgir i noen grad mer positive resultater av FRAM deltakelse FRAM Marked FRAM Innovasjon Økonomiske effekter kan ikke dokumenteres 63 6 Organisering og effektivitet Organisering av FRAM-programmet fungerer i hovedsak bra FRAMs insentivstruktur påvirker rekrutteringen av bedrifter 65 FRAM-rådgivere har insentiv til å sikre inntjening 66 Prosjektledere har også insentiv til å sikre inntjening 67 Insentivstrukturen tydeliggjør viktigheten av Innovasjon Norge som part i FRAM 67 Rekruttering av bedrifter kan muligens effektiviseres 68 Behov for særlig selektiv rekruttering til FRAM Marked Samlingsmateriale krever stadig utvikling Endringer i programmet i 2008 og i Evaluering for utvikling av programmet Samfunnsøkonomisk vurdering av FRAM-programmet 71 Kostnadselementer i FRAM 71 Er FRAM samfunnsøkonomisk lønnsomt? 74 7 Oppsummering og anbefalinger Oppsummering Anbefalinger Forslag til evalueringssystem 76 4 EVALUERING AV FRAM DAMVAD.COM

5 Referanser 77 Vedlegg 1 Kompetanseområder i FRAM 78 Vedlegg 2 Propensity Score Matching metode 79 A. Estimere en «propensity score» 80 B. Propensity Score Matching 81 C. Estimere effekten av deltagelse 83 D. Etablere data 85 Vedlegg 3 Oversikt over FRAM-deltakernes øvrige virkemiddelbruk 86 Innovasjon Norge 86 Norges Forskningsråd 87 SkatteFUNN 88 EVALUERING AV FRAM DAMVAD.COM 5

6 Sammendrag FRAM er et kompetanseutviklingsprogram rettet mot små- og mellomstore bedrifter i en vekstfase. Bedriftene skal gjennom faglig påfyll på samlinger, individuell rådgiving og erfaringsutveksling med andre bedrifter øke sin profesjonalitet, sin markedsorientering og sin innovasjonsevne slik at bedriften får økt lønnsomhet. Evalueringen av FRAM tyder på programmet er relevant for å møte de utfordringene små- og mellomstore bedrifter står overfor i dag. Bedriftene som har deltatt er svært fornøyde og oppgir betydelig kunnskapsheving. Det er imidlertid vanskelig å spore en konkret økonomisk effekt i regnskapene til bedriftene og bare 20 pst. av bedriftene mener at FRAM i stor grad har bidratt til økt lønnsomhet. Dette kan henge sammen med at det tar lengre tid å observere konkrete effekter av en bedriftsutviklingsproses. Selv om konkrete økonomiske effekter er vanskelig å spore, mener 81 pst. bedriftene at programmet samlet sett har gitt positiv effekt, og 80 pst. ville deltatt igjen om de fikk mulighet. Sett i lys av at den største kostnaden ved programmet er det bedriftene selv investerer av tid og penger, er DAMVADs vurdering at programmet er nyttig. Det er likevel mulig å gjøre noen forbedringer. FRAM kan med fordel legge mer vekt på rekrutteringsfasen for å sikre at man når den riktige målgruppen. Mulig bør det også tilstrebes å rekruttere mer utenfor Innovasjon Norges kundedatabase. Det er også potensiale for ytterligere avklart rolledeling mellom Innovasjon Norge og de innleide konsulentene som har mer operativt ansvar, særlig i form av ressursbruk på å holde seg faglig oppdatert. Forbedringer kan også gjøres med hensyn til å etablere et mer strømlinjeformet evalueringssystem. Bakgrunn Evalueringen av FRAM er gjennomført på oppdrag fra Innovasjon Norge. I henhold til konkurransegrunnlaget og DAMVADs fortolkning av dette, er evalueringens problemstilling tredelt: Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag? Når programmet ønskede resultater og effekter i form av å styrke deltakernes konkurransekraft, lønnsomhet og innovasjonsevne? Er programmet hensiktsmessig organisert for å nå sine mål og er det kostnadseffektivt? Beskrivelse av FRAM FRAM-programmet skal bidra til økt lønnsomhet i deltakende bedrifter, gjennom økt kompetanse på forretningsutvikling. Programmet er ett av Innovasjon Norges virkemidler for å bidra til vekst i bedrifter. Bedriftene som deltar skal være små- eller mellomstore og være i en positiv vekstbane. I dag er det tre hovedvarianter av FRAM-programmet, med noe overlapp i kompetanseområder: FRAM Strategisk ledelse: Praktisk og teoretisk innføring i strategi og ledelse. FRAM Marked: Økt markedskompetanse som grunnlag for vellykket internasjonalisering. FRAM Innovasjon: Støtte i egne innovasjonsprosesser. FRAM tilbys bedrifter i form av fellessamlinger med faglig påfyll, skreddersydd rådgivning til hver enkelt bedrift og nettverk (erfaringsutveksling). Programmet går typisk over 10 til 24 måneder, og inneholder 4 til 6 fellessamlinger for grupper bestående av 8 12 bedrifter. 6 EVALUERING AV FRAM DAMVAD.COM

7 Innovasjon Norge har tilknyttet seg et korps av prosjektledere og rådgivere som benyttes i selve gjennomføringen av FRAM-samlinger og til rådgivningstimer. Disse konsulentene har også egen praksis med bedriftsrådgivning på det private markedet. Konsulentene rekrutteres gjennom en anbudsprosess som hovedkontoret til Innovasjon Norge administrerer, og er i praksis sertifisert for fire år om gangen. Bedriftene rekrutteres i hovedsak gjennom Innovasjon Norges kundeportefølje, men også gjennom nettverkene til de innleide konsulentene. Bedriftene gjennomgår en grundig situasjonsanalyse før de får tilbud om å være med i programmet. Bedriftene betaler en egenandel som fastsettes av Innovasjon Norges distriktskontor, i tillegg til utgifter til reise og opphold på fellessamlingene. Metodebruk Evalueringen er basert på dokumentstudier, dybdeintervjuer, referansegruppemøter, en spørreundersøkelse og gjennomgang av regnskapsstatistikk (propensity score matching). Siden all metodebruk både har fordeler og ulemper er det hensiktsmessig med flere ulik metoder for å styrke evalueringens robusthet. Dybdeintervjuene har vært særlig sentrale i å forstå innretningen på programmet, sammenhenger og forventede resultater av programmet. Spørreundersøkelsen er nyttig for å nå ut til en større respondentmasse og få kvantitativ data på hva FRAM har bidratt til. Spørreundersøkelsen er hovedkilden til bedriftenes oppfatning av programmet. Ulempen med en spørreundersøkelse er at tolkningsproblemer kan oppstå, og dataen er subjektiv. Spørreundersøkelsen er derfor supplert med en undersøkelse av bedriftenes regnskapsutvikling for å forsøke å spore konkrete økonomiske effekter av programmet. Fordelen med regnskapsstatistikk er at dette er objektive data. Det vil imidlertid alltid være utfordringer knyttet til dataens kvalitet. FRAM programmet er relevant for en smal målgruppe FRAM er etablert for å gjøre små- og mellomstore virksomheter mer profesjonelle, mer markedsorienterte og mer innovative. Dette skal bidra til at bedriftene får økt lønnsomhet. Vi har definert profesjonalitet som evne til å utvikle funksjoner, rutiner og prosesser for oppgaveløsning og samhandling. Markedsorientering har vi definert som evne til å omsette kunnskap om marked i effektiv virksomhetsstrategi. I dette inngår at bedriften må forstå sitt marked og sine konkurrenter og evne å utvikle sin leveranse i lys av slik forståelse. Innovasjonsevne handler om å utnytte eksisterende ressurser på nye måter eller ta i bruk nye ressurser. Innovasjonskompetanse handler i denne sammenhengen om kunnskap om operasjonalisering av innovasjonsprosesser og tilrettelegging for innovasjon i bedriften. I tillegg til å vurdere om programmet svarer på faktiske behov, drøfter evalueringen begrunnelsen for offentlig støtte til å imøtekomme slike behov. Hvilket problem er det FRAM løser som virksomhetene ikke selv kan løse? Og hvorfor kan tjenestene ikke anskaffes av virksomhetene selv i markedet? Er det en markedssvikt som rettferdiggjør offentlig inngripen? Evalueringen tyder på markedssvikten er knyttet til asymmetrisk informasjon. Bedriftene underinvesterer 1 i kompetanse på forretningsutvikling fordi framtidig gevinst er vanskelig å se på investeringstidspunktet. Målgruppen for FRAM er således bedrifter som har et behov for kompetansetilførsel (og ønske 1 Investerer mindre enn det som kan sies å være samfunnsøkonomisk optimalt EVALUERING AV FRAM DAMVAD.COM 7

8 om endring), men som ikke vet hva slags kompetanse de trenger eller hvordan de kan få tilført denne kompetansen. Dette er en relativt smal målgruppe. Bedrifter som ikke er endringsvillige er antakelig ikke modne nok eller motiverte nok for å delta på FRAM. Bedrifter som er mer bevisste på hva slags kompetansetilførsel de trenger bør kunne oppsøke rådgivningstjenester på det private markedet. Målgruppen til FRAM skal således være medium modne. Videre skal programmet rettes mot bedrifter som «har økonomisk styringskraft», men som likevel har behov for støtte. Denne avveiningen er i kjernen av hele Innovasjon Norges virksomhet. Programmet skal være addisjonelt på den måten at deltakerne skal kunne nyttiggjøre seg av programmet men samtidig skal de sannsynligvis ikke ville ha kjøpt tilsvarende tjenester i markedet. En grundig utvelgelsesprosess gir et godt grunnlag for å treffe målgruppen slik at programmet er addisjonelt. Samtidig vil etterspørselen etter denne typen programmer kanskje være større blant bedrifter som opplever store utfordringer enn blant bedrifter som er opptatt av å vokse. Graden av og betingelsene for vekstkraft i målgruppen er en utfordrende problemstilling. Det er ikke entydig at det er de sterke bedriftene som har brukt FRAM i den perioden vi har sett på. Evalueringen tyder på at bedriftene som deltar i FRAM styrker sin kompetanse på områder som er relevante for dem. Det er for øvrig ikke sikkert at Innovasjon Norge treffer målgruppen med størst behov. Rekrutteringen skjer primært gjennom Innovasjon Norges kundeforhold (både gjennom at bedriftene har fått støtte tidligere, eller at de har vært i mer uformell kontakt med Innovasjon Norge). Bedrifter uten historikk i Innovasjon Norge eller hos rådgiverne kan dermed i prinsippet falle utenfor. Dette vurderes som en liten men reell risiko. Trepartssamarbeid mellom IN distriktskontor, FRAM-prosjektledere og rådgivere bidrar blant annet til at programmet når ut til flere. FRAM-programmet har utviklet seg over tid, fra å være et relativt rigid kursopplegg, til mer fleksibilitet og tilpasning til den enkelte bedrift. Svarene på spørreundersøkelsen indikerer at bedriftene som deltok på FRAM i den mer rigide perioden opplever relevansen som høyere enn bedrifter som har deltatt i en mer fleksibel ordning. Økt målretting og tilpasning for den enkelte bedrift gjør at felles opplegg på samlinger ikke nødvendigvis er like relevant for alle. Målgruppen blir større, og langt mer heterogen noe som vanskeliggjør enn god (nok) tilpasning. Det er store geografiske forskjeller knyttet til hvilke distriktskontor som tar FRAM i bruk. Nordland peker seg ut ved at svært mange bedrifter har deltatt i FRAM i perioden vi har sett på. Variasjoner er knyttet til prioriteringer på det enkelte distriktskontoret, og midlene de har til rådighet. Alle distriktskontorene vi har snakket med i evalueringen opplever at FRAM er relevant uavhengig av om det er bedrifter innenfor eller utenfor virkeområdet. Kompetansebehovene i bedrifter likner hverandre på tvers av fylker og regioner. Evalueringen indikerer imidlertid at FRAM har gitt noe mer positive resultater for bedriftene som er innenfor det distriktspolitiske virkeområdet enn de som er utenfor. Dette kan tolkes i retning av at FRAM i større grad klarer å treffe riktig målgruppe i distriktene. Måloppnåelse, resultater og effekter Evalueringen vurderer måloppnåelse på fire nivåer: bedriftenes respons, tilegnet kompetanse, atferdsendringer som følger av ny kompetanse, og resultater og effekter av slik atferdsendring. 8 EVALUERING AV FRAM DAMVAD.COM

9 Bedriftene som har deltatt uttaler seg positivt om FRAM programmet og vektlegger særlig kompetansebyggingen. Av de tre hovedelementene i FRAM; samlinger, rådgivning og nettverk, er det særlig samlingene og rådgivningen som får positiv respons. Tilbakemeldingene fra bedriftene er at prosjektleder i stor grad evner å gjøre samlingene relevante. Bedriftene er også svært fornøyd med sine rådgivere, og kun et fåtall bytter rådgiver underveis. De få som bytter rådgiver begrunner det ved at rådgiver ikke hadde relevant kompetanse, at rådgiver ikke fulgte opp eller at rådgiver måtte avslutte programmet av ulike årsaker. Bedriftene er i mindre grad opptatt av FRAM som et nettverksskapende virkemiddel. Det er positivt med erfaringsutveksling på samlingene, og underveis i prosessen, men bedriftene har i liten grad kontakt med hverandre etterpå. I den grad nettverk oppstår er det mer snakk om en bieffekt av programmet enn et formål. Vi finner det derfor nærliggende å beskrive de tre hovedelementene i FRAM som: faglig påfyll, erfaringsutveksling og individuell rådgivning i stedet for samlinger, nettverk og rådgivning. Kunnskapen bedriftene får gjennom FRAM er særlig knyttet til profesjonalisering og markedsorientering. Denne kompetansehevingen bidrar til atferdsendringer i bedriftene, som igjen har gitt positive resultater. FRAM bidrar på denne måten å nå Innovasjon Norges delmål om å skape flere vekstkraftige bedrifter. Målrettet kompetansebygging innen innovasjon er relativt nytt og det er dermed vanskelig å påvise konkrete effekter. Over 90 pst. av bedriftene har gjort endringer knyttet til profesjonalisering, mens litt under 90 pst. av bedriftene har gjort endringer knyttet til markedsorientering og litt over halvparten har gjort endringer knyttet til innovasjon. Gjennomføring av endringer er krevende og det er imponerende at nesten alle bedriftene har gjort konkrete endringer som følge av FRAM. Det er ikke gitt at økt kunnskap faktisk endrer adferd, selv om det ofte er hensikten. Evalueringen tyder dermed på at kompetansen kommer til nytte. Intervjuene med bedriftene tyder på at det er ulike typer endringer som gjennomføres. Noen endringer er svært konkrete og handler eksempelvis om å skaffe seg et IT-system, eller bytte lokalisering på bedriften. Andre endringer er mer knyttet til tankesettet; at bedriften endrer bevisstheten knyttet til hvordan de kan drive mer lønnsomt. På bakgrunn av denne bevisstgjøringen gjennomfører bedriftene mer systematiske strategiprosesser. Spørreundersøkelsen tyder på at bedriftene særlig gjør endringer knyttet til å gjennomføre strategiprosesser og etablere nye mål og prioriteringer (76 prosent). Dessuten har svært mange utviklet forretningsplanen (69 prosent). 56 prosent oppgir at FRAM har bidratt til å igangsette nye innovasjonsprosesser. Bedriftene rapporterer om resultater på flere områder, men særlig i form av bedre forretningsplan, bedre økonomi og bedre ledelse. Innen profesjonalisering oppgir rundt 60 prosent at FRAM har bidratt til konkrete resultater. Det framkommer av evalueringen at det er færre bedrifter som oppgir at de har oppnådd konkrete resultater enn bedrifter som har gjort endringer. At svarprosenten er lavere når det gjelder konkrete resultater enn atferdsendringer kan skyldes at ikke alle endringer vil gi resultater, eller at resultatene kommer på et senere tidspunkt. Profesjonaliseringsarbeid og markedsorientering er kontinuerlige prosesser, der konkrete resultater er vanskelige å måle. Innen markedsorientering er resultatene svakere enn innen profesjonalisering. Litt under 50 prosent av bedriftene oppgir at FRAM har bidratt til konkrete resultater innen markedsorientering. Flere bedrifter oppgir nye kontrakter både i nye og i eksisterende markeder. Bedrifter oppgir større grad av utvikling EVALUERING AV FRAM DAMVAD.COM 9

10 på forståelse av marked enn forståelse av konkurrenter. For å være markedsorientert skal bedriften både ha større forståelse for markedet den opererer i, men også forståelse for konkurrenter som opererer i samme marked. Evalueringen finner svakere resultater knyttet til innovasjonsevne. FRAM har bidratt til å igangsette innovasjonsprosesser (adferd), men bedriftene svarer i liten grad at de har etablert bedre systemer for innovasjon (resultat). Av de bedriftene som har satt i gang innovasjonsprosjekter, er innovasjonsgraden lav sammenlignet med Innovasjon Norges kundeeffektundersøkelse. Funnene kan gjenspeile at FRAM (med unntak av FRAM Innovasjon som er nytt) ikke er et innovasjonsprogram. Det skal også understrekes at kompetansen, atferdsendringene og resultater innen innovasjonsevne har økt med tiden, i takt med at det har kommet mer og mer på dagsorden i FRAM. Det skal også understrekes at evalueringen har ønsket å undersøke hvorvidt bedriftene har igangsatt systematiske innovasjonsprosesser. Innovasjon i bedrifter kan også oppstå mer usystematisk og tilfeldig. I spørreundersøkelsen har deltakerbedriftene svart på hvordan FRAM har innvirket på økonomiske resultater. Svarene kan både si oss noe om effektene av FRAM og deltakerbedriftenes utgangspunkt. Omtrent 20 pst oppga at deltakelsen i FRAM i stor eller svært stor grad har ført til bedret lønnsomhet eller økt omsetning. Svarene understøttes imidlertid ikke av regnskapsanalysen, der vi ikke finner økonomiske effekter av deltakelse i FRAM (utdypes nærmere senere). I tillegg har 28 pst svart at FRAM i stor eller svært stor grad har styrket bedriftens overlevelsesmulighet. Det siste gjelder både for bedrifter som deltok i en tidlig fase og bedrifter som har deltatt de siste årene. Økt lønnsomhet og omsetning er viktig for alle bedrifter. Overlevelsesmulighet er i større grad en relevant variable for bedrifter som opplever betydelige utfordringer. I de senere årene har FRAM styrket sin vektlegging av vekstkraft i utvelgelse av deltakerbedrifter. Det betyr at deltakerne skal være godt etablerte bedrifter i vekst og med gode resultater. Overlevelsesmulighet skal dermed i prinsippet ikke være et relevant resultat av FRAM. Når overlevelsesmulighet likevel oppleves som en viktig effekt for deltakerbedriftene, kan det tyde på at rekrutteringen i stor grad også omfatter svakere bedrifter. FRAM har i liten grad bidratt til at bedriftene har fått nye markeder i utlandet; nesten ingen oppgir at FRAM har bidratt til økt eksport eller større markedsandeler utenlands. Markedsorientering har kommet mer og mer på dagsorden de siste årene, og det tar tid før økt markedsorientering bidrar til konkrete resultater. Dette kan forklare noe av grunnen til at resultatene er såpass svake. Dessuten rekrutterer Innovasjon Norge også bedrifter til FRAM Marked som i hovedsak ønsker å undersøke et marked. For disse bedriftene kan resultatet av deltakelse i FRAM være at de ikke går inn i dette markedet fordi de har fått innsikt og kunnskap som bidrar til en forståelse om at det sannsynligvis ikke vil være lønnsomt. Med utgangspunkt i regnskapsstatistikken er det vanskelig å spore konkrete økonomiske effekter av FRAM. For et program som har eksistert over såpass lang tid som FRAM, vil det være naturlig å forvente en økt lønnsomhet og vekst i deltakende bedrifter over tid. Regnskapsanalysen sammenlikner bedrifter som har deltatt i FRAM med en kontrollgruppe som består av et utvalg bedrifter som ikke har deltatt men som langs en rekke andre parametre likner deltakerbedriftene (eks. antall ansatte, omsetning, gjeldsgrad, næring, alder mv.). Når evalueringen likevel ikke kan dokumentere effekter i form av økt lønnsomhet kan dette bety flere ting. For det første er en utfordring at tidsserien etter 10 EVALUERING AV FRAM DAMVAD.COM

11 deltakelse i FRAM er relativt kort i regnskapsstatistikken. Jo senere deltakerår, jo kortere tidsserie har vi å ta utgangspunkt i. Vi vet ikke sikkert, men det kan tenkes at effekter kommer til syne på et enda senere tidspunkt. Det er også verdt å ta med seg at den enkelte deltaker kan få et stort personlig utbytte, men kun i begrenset grad lykkes med å ta effektene ut i form av økt lønnsomhet i egen bedrift. Mulig kommer denne gevinsten til syne på et senere tidspunkt, i en annen bedrift. Organisering og effektivitet Evalueringen tyder på at organiseringen av FRAM i hovedsak fungerer bra, selv om det er mange aktører involvert i gjennomføringen av programmet. Evalueringen tyder på at det ikke egentlig er problematisk med så mange aktører, snarere tvert imot. Fordi rolledelingen er ganske godt definert kommer spisskompetansen til de involverte aktørene i spill på en god måte. Evalueringen tyder likevel på at det er noen områder det er overlapp i ansvarsområder mellom de ulike aktørene. Det er rom for forbedringer på rekrutteringssiden, i utvikling av samlingsmateriale og evaluering for utvikling av programmet. Hvordan rekruttering foregår er forskjellig fra fylke til fylke, og det varierer i hvilken grad distriktskontoret er involvert. Innovasjon Norges involvering i rekrutteringsfasen er avgjørende for å sikre at programmet treffer den riktige målgruppen. Det er Innovasjon Norge som bør ha siste ordet når det gjelder bedriftsdeltakelse for å sikre at det ikke rekrutteres for mange bedrifter uten reelt behov. FRAM har utviklet seg over tid, fra å være et relativt rigid kurs med faste moduler, til økt fleksibilitet og tilpasning til den konkrete gruppen av bedrifter som deltar. I tråd med dette har Innovasjon Norge endret organisering og arbeidsform. I begynnelsen utarbeidet Innovasjon Norge ulike typer notater og kompendier som prosjektlederne kunne ta utgangspunkt i ved presentasjon av faglig innhold på samlinger. Dette arbeidet er redusert i tråd med at prosjektlederne har fått økt fleksibilitet i utformingen av FRAM. Prosjektledere gjør større bruk av eksterne foredragsholdere med spisskompetanse på temaene på samlingene. Innovasjon Norges hovedkontor utvikler stadig noen konkrete moduler som er obligatoriske, på bakgrunn av kunnskapsinnhenting om norske bedrifters behov. Fleksibilitet er verdifullt av flere grunner. En av begrunnelsene er at man da når ut til flere. En annen begrunnelse er at FRAM-prosessen er mer omstendelig og individuelt tilpasset enn kurs og kompetansepakker som tilbydere på det private markedet gir. Økt fleksibilitet gjør imidlertid at rekruttering er enda mer utfordrende, og er derfor et punkt som Innovasjon Norge bør være kontinuerlig opptatt av. Samfunnsøkonomisk lønnsomhet er tilsynelatende lav ettersom effekter på lønnsomhet og verdiskaping 2 ikke kan påvises i regnskapene. Selv om bedriftene i spørreundersøkelsen oppgir samlet positiv effekt, identifiserer evalueringen ikke faktisk økonomisk effekt. Det er imidlertid noen forbehold knyttet til dette. Selv om regnskapsanalysen tar høyde for en rekke usikkerheter, vil det fortsatt være usikkerhetsmomenter og datakvalitet som spiller inn. Et annet forbehold er knyttet til at det vi er usikre på hvor lang tid det tar før økonomiske resultater av FRAM synes i regnskapet. Et siste viktig punkt er at man 2 Definert som summen av driftsresultat, av- og nedskrivninger av varige driftsmidler og immaterielle eiendeler og lønnskostnad. EVALUERING AV FRAM DAMVAD.COM 11

12 alltid vil kunne stille spørsmål om det er noen nytteeffekter eller gevinster av FRAM i tillegg til bedriftsøkonomisk lønnsomhet. Eksempelvis det at bedriftsledere får økt kunnskap kan være en nytte i seg selv, særlig i et livslangt læringsperspektiv. Fleksibiliteten i FRAM påvirker også hvordan programmet kan evalueres. Når programmet i stor grad er fleksibelt er det vanskelig å identifisere de konkrete målsetningene med programmet fordi målsetningene skiller seg fra prosjekt til prosjekt og fra bedrift til bedrift. Hvis programmet i større grad er rigid, kan målsetningene ved programmet være tydeligere. Fleksibiliteten i FRAM gir noen utfordringer for oppfølging og fremtidig evaluering. Forslag til revidert rapporterings- og evalueringsopplegg som kan imøtekomme denne utfordringen presenteres i kapittel EVALUERING AV FRAM DAMVAD.COM

13 Executive summary FRAM is relevant to participating businesses, especially through learning events and one-to-one counselling services. It is effective in strengthening skills and participants greatly appreciate services provided. Economic results are however not possible to identify, possibly in part because many businesses are still in early phases of implementing positive change. The program is efficiently administered yet a few overlaps exists, and the reporting system could be more streamlined. DAMVAD has conducted an evaluation of the FRAM-program. FRAM is a program that seeks to increase corporate profitability by increasing business owners' professionalism, market orientation and innovativeness. Innovation Norway and a group of certified business consultants administer the program. The Ministry of Local Government and Modernization and the Ministry of Trade, Industry and Fisheries finance the program. The evaluation addressed three questions: Is the program relevant to actual needs, aligned with best practice, and justified by a market failure that necessitates public intervention? Is the program effective in achieving its goals to strengthen skills and improve profitability? Is the program efficient in its organization and is it cost-efficient? The main findings of the evaluation are that the program is relevant to its target audience, but the target audience is quite narrow.. The FRAM offering consists of three main pillars: seminars, counseling, and networking. The evaluation indicates that the counseling is most highly valued, followed by seminars and to a lesser extent networking. The market failure relates to asymmetrical information, where gains to businesses are undervalued prior to participation. There are several possibilities for firms to buy business counseling in the market. Yet small and medium-sized enterprises (SMEs) targeted by FRAM are not necessarily recognize or articulate such needs. Consequently, offering public counseling services can help overcome the barrier to seek advice. In fact, a number of business owners report that they later have continued procuring such services on their own account. A potential challenge relates to the targeting and identification processes, which concentrate on business already enrolled in Innovation Norway s client database. Although additional recruitments also do happen, the current structure could result in the missing out on certain types of sectors and businesses. The evaluation suggests that the FRAM-program is effective in strengthening skills among participating businesses, but effects are not traceable in terms of economic results. In the survey and through interviews, participants report that FRAM greatly contributes to increased knowledge, primarily in the field of professionalization such as improving the business plan, strategy thinking, and economics. FRAM also contributes to knowledge in market orientation, but to a lesser extent, and even less in innovation knowledge. The businesses are able to translate acquired knowledge into implementing change, especially in terms of professionalization. Overall, participants consider the program very useful; 81 pct. of the participating businesses believe that FRAM has led to positive effects. However, effects are difficult to track in hard currency. An econometric analysis of income and profits for participants and non-participants finds no economic effects. It might be too early to see effects on the balance sheet of changes implemented in the last few years. Yet a program targeting growing and robust SMEs should be expected to also boost their bottom-line. EVALUERING AV FRAM DAMVAD.COM 13

14 The evaluation finds that FRAM is efficienciently managed with a good division of labor between several stakeholders. There are however some overlaps in responsibilities that could be addressed. Innovation Norway should focus even more on the recruitment process. The process could benefit from opening up for a broader audience and recruiting more actively outside of Innovation Norway s customer base. Improvements could also be made with regards to establishing a more streamlined monitoring and evaluation system. 14 EVALUERING AV FRAM DAMVAD.COM

15 1 Innledning Evalueringen av FRAM er gjennomført på oppdrag fra Innovasjon Norge. I henhold til konkurransegrunnlaget og vår fortolkning av dette, er evalueringens problemstilling tredelt: Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag? Når programmet ønskede resultater og effekter i form av å styrke deltakernes konkurransekraft, lønnsomhet og innovasjonsevne? Er programmet hensiktsmessig organisert for å nå sine mål og er det kostnadseffektivt? Rapporten har følgende oppbygging: Første del presenterer programmets målsetninger og organisering slik at leseren skal ha en god forståelse av hva slags virkemiddel FRAM-programmet er. Deretter beskriver vi vår evalueringsmodell og de metoder som er benyttet for å gjennomføre evalueringen. Selve evalueringen er bygget rundt de tre problemstillingene over. Disse er de viktigste spørsmålene i diskusjonen av henholdsvis relevans, måloppnåelse og effektivitet. I det avsluttende kapittel 7 oppsummeres hovedfunnene i evalueringen, og vi gir anbefalinger på bakgrunn av evalueringen. EVALUERING AV FRAM DAMVAD.COM 15

16 2 Beskrivelse av FRAM-programmet I dette kapittelet gir vi en beskrivelse av FRAM-programmet, hvordan det inngår i virkemiddelapparatet og hvem det retter seg mot. En grunnleggende forståelse av programmet og bedriftene som deltar er hensiktsmessig for forståelsen av selve evalueringen, som presenteres i kapitlene 4, 5 og FRAM er ett av Innovasjon Norges virkemidler tilknyttet mål om vekstkraftige bedrifter FRAM-programmet skal bidra til økt lønnsomhet i deltakende bedrifter gjennom økt kompetanse om forretningsutvikling. Programmet er ett av Innovasjon Norges virkemidler for å bidra til vekst i bedrifter, jf. arbeidsmål «flere vekstkraftige bedrifter» vist i Figur 2.1. I dag er det tre hovedvarianter av FRAM-programmet, med noe overlapp i kompetanseområder: FRAM Strategisk ledelse: Praktisk og teoretisk innføring i Strategisk ledelse, positiv endringsledelse, styrearbeid, innføring i innovasjon, internasjonalisering, markedsorientering og CSR. FRAM Marked: Økt markedskompetanse som grunnlag for vellykket internasjonalisering, med bygging av nettverk mot andre bedrifter og Innovasjon Norges utekontor. Omfatter også praktisk og teoretisk innføring i temaer som innovasjon, positiv forandringsledelse og god problemhåndtering og kulturforståelse. FRAM Innovasjon: Støtte i egne innovasjonsprosesser, herunder økt forståelse av kundebehov som driver for innovasjon, samt bistand til gode innovasjonsprosesser mot marked. Skiller seg fra de to øvrige i det at det jobbes med å utvikle et innovasjonsprosjekt i bedriften, ikke å utvikle bedriften som helhet. FIGUR 2.1 Innovasjon Norges målstruktur Formål: Innovasjon Norges formål er å være statens og fylkeskommunens virkemiddel for å realisere verdiskapende næringsutvikling i hele landet Hovedmål: Innovasjon Norge skal utløse bedrifts- og samfunnsøkonomisk lønnsom næringsutvikling, og utløse ulike regioners næringsmessige muligheter Delmål: Flere gode gründere Delmål: Flere vekstkraftige bedrifter Delmål: Flere innovative næringsmijøer Kilde: Innovasjon Norge 16 EVALUERING AV FRAM DAMVAD.COM

17 Det vektlegges av Innovasjon Norge at kompetansetjenesten skal tilpasses bedriftene som deltar. Derfor vil det kunne være elementer fra alle tre hovedretninger i alle FRAM-prosjekter. 2.2 FRAM-programmet har utviklet seg over tid FRAM-programmet har utviklet seg underveis fra oppstart til sitt nåværende format. Bakgrunnen for FRAM var det tidligere BUNT-programmet (Bedriftsutvikling med ny teknologi) som ble administrert av tidligere Norges Teknisk-Naturvitenskapelige Forskningsråd. De positive erfaringene fra programmet dannet grunnlaget for å sette i gang et forsøk med små- og mellomstore bedrifter. Programmet skulle styrke strategisk retningsvalg og ledelse av småbedrifter, ved hjelp av rådgivningsassistanse fra dyktige og erfarne sertifiserte bedriftsrådgivere. Da Statens nærings- og distriktsutviklingsfond ble etablert i 1993, ble Små-bedrifts-BUNT programmet ganske raskt gjort permanent som produkt/tjeneste og omdøpt til FRAM som står for: Forstått Realistisk Akseptert Målbart Navnet underbygger programmets sterke forankring i og målretting mot deltakernes konkrete utfordringer og speiler gode prinsipper for resultatstyring. FRAM har fortsatt som program dog med litt ulike varianter og navn fram til i dag. Ved opprettelsen av Innovasjon Norge ble det gjort en endring i organiseringen i FRAM som medførte at distriktskontorene skulle få en større rolle i administrasjon av programmet. Som en følge av dette har de ulike distriktskontorene gjennomført ulike bransjespesifikke FRAM-program, basert på satsingsområdene i de ulike fylkene. Evalueringen av FRAM fra påpekte at det var ønskelig fra styringsgruppa og deltakerbedriftenes side med økt vektlegging av innovasjon og internasjonalisering. Dette håndterte Innovasjon Norge ved å utvikle fagmoduler innen disse temaene, som inngikk i FRAM Strategisk ledelse. Senere har FRAM Innovasjon og FRAM Marked blitt utviklet ytterligere. FRAM Marked ble etablert i 2012, mens FRAM Innovasjon har kjørt sine første prosjekter i FRAM-Marked er for øvrig også en videreutvikling av det tidligere NAVIGATOR som var et kompetanseprogram rettet mot internasjonalisering. Dette innebærer at selv om FRAM-Marked ble lansert som program først i 2012, så har Innovasjon Norge jobbet med kompetansehevingstiltak knyttet til internasjonalisering over lengre tid. Programmet som i dag kalles for FRAM Strategisk ledelse er den innretningen av FRAM som har eksistert over lengst tid dog med noe ulike tilpasninger og ulike typer bedrifter. Bedriftene går igjennom en utviklingsprosess for å bli mer profesjonelle, mer markedsorienterte og mer innovative. De deltar på fellessamlinger der de får et felles kunnskapsløft, de får rådgivningstimer og møter andre bedrifter som de kan diskutere problemstillinger med på samlingene. Som en del av utviklingsprosessen 3 Bolkesjø m.fl.(2005): Evaluering av FRAM og ivel Telemarksforskning-Bø. Arbeidsrapport nr EVALUERING AV FRAM DAMVAD.COM 17

18 skal de konkretisere et utviklingsprosjekt for bedriften, som de jobber med i hele FRAM-perioden. Forskjellen på FRAM Marked og FRAM Strategisk ledelse, er at det første er rettet mot bedrifter som har et konkret, internasjonalt marked de ønsker å etablere seg i. Således dreier programmet seg i stor grad om å få kunnskap om dette konkrete markedet, og hva som skal til for å slå igjennom i markedet. Intervjuer med FRAM-apparatet tyder på at det kan variere fra prosjekt til prosjekt i hvilken grad bedriften er moden for å gå inn i et nytt marked, og det varierer også derfor hva bedriften har kunnskap om. Et resultat av FRAM-deltakelse kan vel så gjerne være at bedriften bestemmer seg for ikke å satse på å gå inn i markedet, og slik sett unngår store tap. FRAM Innovasjon skiller seg fra FRAM Strategisk ledelse i den forstand at det har et sterkere fokus på innovasjonsprosesser og hvordan bedriften kan tilrettelegge for innovasjon. FRAM Innovasjon bidrar med kompetanse på planlegging og gjennomføring et innovasjonsprosjekt. Selve innovasjonsprosjektet gjennomføres således etter at bedriftene har vært igjennom FRAM. Innovasjonsprosjektet kan være et nytt produkt, å nå nye markeder, selge på nye måter eller organisere bedriften på en ny og innovativ måte. 12 bedrifter. Bedriftene gjennomgår en grundig situasjonsanalyse før de får tilbud om å være med i programmet. Det framkommer videre av programbeskrivelsen at FRAM-programmet i hovedsak består av tre hoved komponenter: Bedriftssamlinger herunder studietur i utlandet (4-6 samlinger à 2 dager) Individuell rådgivning ( timer) Nettverk med andre bedrifter Bedriftene betaler en egenandel som fastsettes av Innovasjon Norges distriktskontor. I tillegg er det bedriften som betaler utgifter til reise og opphold på fellessamlingene. 2.4 FRAM gir bedrifter kompetanse på bedriftsutvikling i ulike former FRAM består av tre hovedkomponenter; samlinger, rådgivning og nettverk. På samlingene gjennomgås fagstoff av ulik art (og på ulike måter), som anses relevant for bedriftsutvikling. Rådgivningen er direkte knyttet opp mot bedriftens utviklingsprosjekt og bedriftens behov. Nettverket er en bieffekt av at bedrifter møtes på samlinger. 2.3 Målgruppen er små og mellomstore bedrifter med vilje og evne til vekst Det framkommer av programbeskrivelsen til FRAM at hovedmålet til FRAM-programmet er økt verdiskaping i små- og mellomstore bedrifter. FRAM tilbys små og mellomstore bedrifter i form av samlinger og skreddersydd rådgivning. Programmet går typisk over 10 til 24 måneder, og inneholder 4 til 6 fellessamlinger for grupper bestående av 8 I vedlegg 1 framgår det hvilke temaer Innovasjon Norge anbefaler at gjennomgås i FRAM. Fagstoffet som formidles på samlingene skal imidlertid være tilpasset gruppen av bedrifter i det enkelte FRAMprosjektet og hva de trenger av tilført kompetanse. Dette innebærer at det varierer fra prosjekt til prosjekt hvilke fagmoduler som gjennomgås. Denne variasjonen og fleksibiliteten har blitt større over tid. I begynnelsen var det et veldig konkret rammeverk, der Innovasjon Norge blant annet hadde utviklet en veileder for prosjektleder om hvordan gjennomføre et FRAM Strategisk ledelse-prosjekt, samt «teknikknotater» knyttet til hver fagmodul. Teknikknotatet 18 EVALUERING AV FRAM DAMVAD.COM

19 beskriver tematikken og foreslår anbefalt litteratur som kan bygge oppunder modulen. Teknikknotater er utviklet for de fleste av temaene på listen, men ikke alle. Oversikten gir en indikasjon på hva som ble betraktet som obligatorisk i Obligatoriske temaer i dag er design, markedsorientering, Innovasjon og internasjonalisering samt CSR. Fagmodulene som i dag anbefales tilbys på bakgrunn av lang historikk i FRAM om hva bedrifter har interesse av, kombinert med en situasjonsanalyse som tydeliggjør bedriftenes behov. Modulene som kreves fra Innovasjon Norge er utviklet på bakgrunn av kunnskapsinnhenting om utfordringer bedrifter i Norge står overfor. Det er et bredt omfang av kunnskap som samles inn årlig, som er med og påvirker utviklingen i alle virkemidlene Innovasjon Norge forvalter, herunder FRAM. De siste årene har det vært lagt særlig vekt på norske bedrifters manglende markedsorientering. 2.5 FRAM-programmet administreres av Innovasjon Norge i samarbeid med private konsulenter Innovasjon Norge har tilknyttet seg et korps av prosjektledere og rådgivere som benyttes i selve gjennomføringen av FRAM-samlinger og til rådgivningstimer. Disse konsulentene jobber gjerne i det private markedet med bedriftsutviklingstiltak av ulik sort, og har spisskompetanse på bedriftsrådgivning. Konsulentene rekrutteres gjennom en anbudsprosess som hovedkontoret til Innovasjon Norge administrerer. De er sertifisert for to år om gangen, med mulig å forlenge med to år. I praksis er de sertifisert for fire år om gangen. Figur 2.2 illustrerer organiseringen av FRAM og de ulike aktørene som inngår i programmet. Det varierer fra fylke til fylke hvordan fordelingen av oppgavene faktisk er, men figuren viser en relativt vanlig ansvarsdeling. Innovasjon Norges hovedkontor Innovasjon Norges hovedkontor er tjenesteansvarlig, og har ansvar for å rekruttere prosjektledere og rådgivere som de ulike fylkene kan benytte seg av. Innovasjon Norge har også over tid utviklet mye faglig materiale som prosjektledere kan benytte i gjennomføring av samlinger, i tillegg til at de utvikler maler for rapportering og evalueringer. Innovasjon Norge har således en kvalitetssikringsrolle når det gjelder hva slags tematikk som gjennomgås på FRAM, selv om det over tid har blitt større fleksibilitet for prosjektleder. På bakgrunn av at Innovasjon Norge årlig samler inn mye ulikt materiale knyttet til næringsutviklingen i Norge, sitter de på en del kompetanse om hva bedrifter har behov for. Denne kompetansen benyttes i utviklingen av alle program og tjenester, herunder FRAM. Innovasjon Norges distriktskontor Distriktskontorene beslutter hvilke FRAM-program som skal gjennomføres i de ulike fylkene; hvilken type FRAM program og om det skal være rettet mot en enkelt næring, eller generiske FRAM-prosjekter. Det er også distriktskontorene som prioriterer midler til gjennomføring av programmet. Det varierer således fra fylke til fylke i hvilken grad FRAM-programmet er prioritert, og antallet FRAM-prosjekter som gjennomføres i løpet av et år. Distriktskontoret har i tillegg ofte en rolle i rekruttering av bedrifter. Utgangspunktet er som regel bedrifter som har vært i kontakt med Innovasjon Norge på en eller annen måte tidligere. I hvilken grad Distriktskontoret er involvert i rekrutteringen av bedrifter, varierer for øvrig fra fylke til fylke. Noen EVALUERING AV FRAM DAMVAD.COM 19

20 distriktskontorer er sterkere involvert i rekrutteringsprosessen enn andre. Prosjektledere Prosjektlederne har ansvar for gjennomføringen av FRAM-programmet. Ofte er det en grundig dialog mellom prosjektleder og Innovasjon Norge for å identifisere bedriftene i fylket som kan være aktuelle å invitere til å delta i det FRAM-prosjektet som Innovasjon Norge har besluttet å gjennomføre. Samtidig er dette ofte prosesser som foregår parallelt: Innovasjon Norges beslutning om å sette i gang FRAM avhenger også av om man tror det er en stor nok gruppe av bedrifter i fylket som kan ha behov for et slikt tilbud. Prosjektlederne er videre ansvarlige for å lage opplegg for fellessamlingene, med utgangspunkt i budsjettet Innovasjon Norge har avsatt. Hvorvidt prosjektleder selv gjennomfører foredrag, eller om andre ressurspersoner trekkes inn på samlingene, avhenger fra gang til gang og hva slags fagstoff som skal gjennomgås. Prosjektleder har som regel kompetanse på noe av det faglige innholdet, men ikke alt. Også ressurspersoner fra Innovasjon Norge brukes som innledere på samlingene, dersom kompetansen er relevant. Prosjektleder er også ansvarlig for å finne rådgiver til deltakerbedriftene, med utgangspunkt i den sertifiserte gruppen av rådgivere i fylket. I noen tilfeller brukes rådgivere som er sertifisert i andre fylker, dersom det er særskilte forhold som tilsier at det er FIGUR 2.2 Roller og ansvar i organisering og drift av FRAM-programmet Kilde: DAMVAD 20 EVALUERING AV FRAM DAMVAD.COM

21 hensiktsmessig. Prosjektleder kan også selv være rådgiver. Prosjektleder får tilbakemeldinger og vurderinger fra bedriftene etter hver samling. Disse benyttes for å tilpasse opplegget på de framtidige samlingene slik at opplegget blir best mulig tilpasset deltakermassen og deres behov. Rådgivere Rådgiverne har i flere fylker et ansvar i rekrutteringsprosessen av bedrifter. Etter at Innovasjon Norge og prosjektleder har kommet fram til en liste med potensielle bedrifter, er det som regel rådgiverne som ringer rundt og inviterer bedriftene til å delta. Rådgiverne gjennomfører også som regel situasjonsanalysen for å undersøke om bedriftene faktisk er hensiktsmessige å ha med i programmet. For å delta må bedriftene ha noen typer utfordringer som FRAM kan bidra med å løse. De må også være motivert til å sette av tid til å delta. I og med at FRAM-programmet er en prosess som kan strekke seg over to år, må rådgiver forsikre seg om at dette er noe bedriften ønsker å forplikte seg til. I selve gjennomføringen av FRAM er det rådgiverens rolle å støtte bedriften gjennom prosessen, og følger dem opp med jevnlige møter i periodene mellom samlingene. 2.6 Kjennetegn ved deltakerne i FRAM De påfølgende tabellene gir en rask oversikt over kjennetegn ved deltakerne i FRAM i perioden mellom Type FRAM program Tabell 2.3 illustrer de ulike kategoriene av FRAM som har vært gjennomført siden Som det framkommer har det vært mange ulike varianter av FRAM, men det har klart vært gjennomført flest av FRAM Strategisk ledelse. Både Kultur, Entreprenørskap, Agro og Liten kan ses på som varianter av FRAM Strategisk ledelse, men der man har laget noen ytterligere kriterier for deltakelse. TABELL 2.3 Programtype Programtype Antall Prosent Strategisk ledelse ,5 % Kultur ,2 % Entreprenørskap, tidligfase ,2 % Agro ,4 % Marked/NAVIGATOR 92 7,0 % Liten (2-8 virksomheter) 84 6,4 % Innovasjon 16 1,2 % Total ,0 % Bruk av FRAM innenfor/utenfor det distriktspolitiske virkeområdet Det er flere bedrifter innenfor det distriktspolitiske virkeområdet som får støtte gjennom FRAM enn bedrifter som er geografisk lokalisert utenfor virkeområdet. TABELL 2.4 Deltakere fordelt innenfor og utenfor det distriktspolitiske virkeområdet Antall Prosent Innenfor % Utenfor % (ikke identifisert gjennom kommunenummer) 457 Totalt 789 FRAM finansieres både av Kommunal- og regionaldepartementet, og av Nærings- og handelsdepartementet. Midler fra Kommunal- og regionaldepartementet skal være en ekstrainnsats for distriktsområder, mens midler fra Nærings- og handelsdepartementet skal brukes i hele landet. Siden det er en del EVALUERING AV FRAM DAMVAD.COM 21

22 «ekstramidler» til distriktsområder, gjennomføres det også litt flere FRAM prosjekter for bedrifter som er lokalisert i det distriktspolitiske virkeområdet. Bedriftene som ikke er identifisert gjennom kommunenummer er ikke regnskapspliktige, og består antakelig primært av enkeltpersonsforetak. Bruk av FRAM i de ulike fylkene Særlig Nordland (i sin helhet innenfor det distriktspolitiske virkeområdet) har gjennomført mange FRAM-prosjekter i perioden vi har sett på. Tabellen viser for øvrig at FRAM gjennomføres over hele landet. TABELL 2.5 Deltakere fordelt på fylker Fylke Antall Prosent Akershus 19 2 % Aust-Agder 18 2 % Buskerud 22 3 % Finnmark 46 6 % Hedmark 46 6 % Hordaland 57 7 % Møre- og Romsdal 69 9 % Nord-Trøndelag 48 6 % Nordland % Oppland 50 6 % Oslo 47 6 % Rogaland 36 5 % Sogn og Fjordane 34 4 % Sør-Trøndelag 48 6 % Telemark 24 3 % Troms 29 4 % Vest-Agder 16 2 % Vestfold 26 3 % Østfold 39 5 % Totalt % er bedrifter innen reiseliv. Det ser ut til at FRAM i stor grad er et virkemiddel som reiselivsbedrifter benytter seg av. FRAM-bedriftenes bruk av andre offentlige virkemidler Bedriftene som deltar i FRAM gjør seg også nytte av andre virkemidler i virkemiddelapparatet. Ved hjelp av samspillsdatabasen har sett nærmere på hvilke virkemidler bedriftene har benyttet seg av både før, under og etter deltakelse i FRAM. Før deltakelse i FRAM gjør bedriftene seg særlig nytte av finansieringstjenestene til Innovasjon Norge, herunder tilskudd, lån og stipend, samt garantiordninger. Også svært mange har fått bygdeutviklingsmidler. En annen stor andel har fått støtte gjennom IFU/OFU ordningen. I annet-kategorien inngår ulike programmer som eksempelvis marint verdiskapingsprogram og bioenergiprogrammet. Figur 2.7 illustrerer dette. Etter deltakelse i FRAM er det stort sett de samme tjenestene og programmene bedriftene benytter. Prosentandelen er nesten de samme, bortsett fra at andelen bedrifter som benytter seg av bedriftsnettverkstjenesten har gått noe opp. Samtidig er dette kun snakk om fem prosjekter. Mange av bedriftene som har deltatt i FRAM har også fått støtte gjennom programmer i Norges forskningsråd. I vedlegg 2 er det lagt ved tabeller som viser mer detaljert hvilke programmer i Innovasjon Norge bedriftene har fått støtte gjennom, og detaljert hvilke programmer i Norges Forskningsrådet bedriftene har fått støtte igjennom. FRAM-bedriftene kommer i all hovedsak fra de næringene som får støtte fra det øvrige virkemiddelapparatet i Innovasjon Norge, jf. figur 2.6. Unntaket 22 EVALUERING AV FRAM DAMVAD.COM

23 FIGUR 2.6 Deltakere fordelt på næringer Industri Faglig, vitenskapelig og teknisk tjenes 14% 17% 28% 29% Varehandel og transport 11% 12% Informasjon og kommunikasjon Overnattings- og serveringsvirksomhet 5% 11% 11% 11% Bygge- og anleggsvirksomhet 4% 6% Forretningsmessig tjenesteyting 5% 5% Jordbruk, skogbruk, jakt og fiske 4% 6% Annet 8% 13% 0% 5% 10% 15% 20% 25% 30% 35% IN FRAM Note: Vi har hold Bygdeutviklingsmidlene til Innovasjon Norge utenfor, siden broken av disse har annen begrunnelse enn øvrige virkemidler. Vi har også holdt nettverksprogrammene ARENA og NCE utenfor, siden midlene her ikke går direkte til bedrifter, men til en fasilitator (som da er kategorisert som forretningsmessig tjenesteyting i NACE. FIGUR 2.7 Fordeling av hvilke andre virkemidler deltakerne i FRAM har fått støtte igjennom (i Innovasjon Norge) 0 % 6 % 2 % 13 % 16 % 63 % Finansieringstjenester og garantier u/ Bygdeutviklingsmidlene Bygdeutviklingsmidlene Rådgivningstjenester IFO/ OFU Bedriftsnettverk Annet Kilde: Samspillsdatabasen (Innovasjon Norge) Note: Enheten er prosjekter EVALUERING AV FRAM DAMVAD.COM 23

24 FRAM-deltakernes økonomiske utvikling skiller seg ikke fra gjennomsnittet i samme næring Ved hjelp av regnskapsstatistikk har vi undersøkt kjennetegn ved FRAM-bedrifter sammenliknet med næringen for øvrig. Vi har kun sett på veksten i perioden mellom 2007 til Bedriftene som omtales som deltakere har deltatt i FRAM-programmet en eller annen gang i evalueringsperioden, så man kan ikke lese av figuren når deltakerne har deltatt. Hovedbildet er at veksten i verdiskaping på deltakerbedrifter i liten grad skiller seg fra bedrifter som ikke har deltatt i FRAM. Dette er gjennomgående uavhengig av næringsområde. Dette betyr at bedriftene som får muligheten til å delta i FRAM er relativt gjennomsnittlige bedrifter, når det gjelder vekst i verdiskaping. FIGUR 2.8 Verdiskaping i handel. Faste 2012-priser. Indeks 2007 = Deltakere Ikke-deltakere FIGUR 2.9 Verdiskaping I IKT og annen tjenesteyting. Faste 2012-priser. Indeks (2007=100) Deltakere Ikke-deltakere FIGUR 2.10 Verdiskaping i industri. Faste 2012-priser. Indeks (2007=100) Deltakere Ikke-deltakere EVALUERING AV FRAM DAMVAD.COM

25 FRAM-deltakerne innenfor det distriktspolitiske virkeområdet er gjennomgående noe svakere enn deltakerne utenfor Utviklingen i verdiskaping viser få eller ingen avvik dersom vi skiller mellom innenfor og utenfor det distriktspolitiske virkeområdet dersom alle deltakere i FRAM-programmet sees under ett, jf. Figur 2.11 FIGUR 2.11 Verdiskaping for alle deltakere i FRAM-programmet. Faste 2012-priser. Indeks (2007=100) Utenfor Innenfor Kilde: DAMVAD med utgangspunkt i Enhetsregisteret Note: Antall observasjoner varierer fra år til år. Gjennomsnittlig antall virksomheter utenfor og innenfor er hhv. 152 og 301. Dette resultatet gjelder også om vi skiller på konkrete næringer. EVALUERING AV FRAM DAMVAD.COM 25

26 3 Evalueringsmodell og metode I dette kapittelet gjennomgår vi evalueringsmodellen vi har lagt til grunn og de ulike metodene som har blitt benyttet i evalueringen. Vi legger stor vekt på bruk av flere metoder for å sikre robusthet i undersøkelsen. 3.1 Relevans, målrealisering og effektivitet Evalueringen er lagt opp etter metodeverket inspirert av OECDs evalueringsmodell, som grupperer evalueringsspørsmålene under overskriftene relevans, målrealisering og effektivitet, jf. Figur 3.1. Spørsmålet om relevans dreier seg om evalueringsobjektet er godt forankret i kunnskap om sammenheng mellom behov og virkemidler, jf. Evalueringens problemstilling Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag? Under overskriften målrealisering drøftes konkret måloppnåelse, resultater og effekter av programmet, jf. evalueringens problemstilling Når programmet ønskede resultater og effekter i form av å styrke deltakernes konkurransekraft, lønnsomhet og innovasjonsevne? Selv om offentlig innsats gir resultater i tråd med målene, kan det tenkes at resultatene kunne blitt enda bedre, ved hjelp av annen organisering eller innretning, jf. evalueringens problemstilling «Er programmet hensiktsmessig organisert for å nå sine FIGUR 3.1 Evalueringsmodell Kilde: DAMVAD 26 EVALUERING AV FRAM DAMVAD.COM

27 mål og er det kostnadseffektivt?». Dette drøftes under overskriften effektivitet. På bakgrunnen av diskusjonen under disse tre overskriftene, kommer med vi med forslag til anbefalinger (kapittel 7.) Evalueringskriteriene sammenfatter også i stor grad kriterier for gode virkemidler slik de er formuler av Heum 4. Heum har utarbeidet 8 krav som et næringspolitisk virkemiddel ideelt sett må innfri for å bli karakterisert som godt. Kravene har stor oppslutning og samsvarer også godt med en rekke regjeringsframlegg om næringspolitikk. Kravene er: 1. Det må foreligge markedssvikt som hemmer verdiskaping og vekst i samfunnsmessig forstand. 2. Markedssviktens konsekvenser må være store nok til at det er bryet verdt å vurdere alternative virkemidler som kan korrigere effekten av markedssvikten. 3. Virkemiddelet som implementeres må være egnet til å korrigere markedssvikten på en ønsket måte 4. Av dette følger at det skal være et klart definert mål på hva virkemiddelet skal bidra til. 5. Det må ikke være alternative virkemidler som er bedre i stand til å oppfylle virkemiddelets mål. 6. Seleksjonskriteriene for når virkemiddelet vil komme til anvendelse skal være tydelige og forutsigbare. 7. Det skal være enkelt å administrere virkemiddelet, slik at kostnadene med å ta det i bruk er små i forhold til gevinstene som oppnås. 8. Aktørene som søker å komme inn under virkemiddelet, må kunne forvente en klar og real avgjørelse innen rimelig tid. De tre første kravene på Heums liste inngår i vurderingen av relevans. Kravet om tydelige mål innleder vurderingen av måloppnåelse, som i tillegg drøfter faktiske resultater og effekter. De fire siste kravene drøftes under effektivitet. 3.2 Virkninger av kompetansetiltak I tillegg til evalueringsmodellen presentert i forrige avsnitt, har vi lagt til grunn en egen modell for å vurdere virkninger av kompetansetiltak. Dette er i prinsippet en metodikk for å vurdere måloppnåelse på en systematisk måte. Modellen er utviklet av Donald Kirkpatrick 5 og illustrerer de ulike dimensjonene som er sentrale for å måle virkninger av et kompetansetiltak (måloppnåelse). Det er en pyramide, fordi man tenker seg at dersom nivået under ikke er tilfredsstilt vil man heller ikke kunne nå nivået etter på samme måte som i en effektkjede. Figur 3.2 illustrerer modellen. Respons måler deltakernes umiddelbare tilfredshet med kompetansehevingstiltakene. Det er relevant å både se på tilfredshet med samlinger, rådgivningen og nettverket siden dette er de tre ulike måtene deltakerne tilegner seg kunnskapen på. Dette nivået besvarer i noen grad også kompetansetiltakets relevans. Læring er deltakernes læring fra tiltaket, og deres vurdering av kunnskapen de har fått. Har deltakerne faktisk tilegnet seg ny kunnskap? De tre overordnede kunnskapsområdene som er relevante å måle i FRAM er (i) profesjonalisering, (ii) markedsorientering og (iii) innovasjon. 4 Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler? SNF. Arbeidsnotat 03/12. 5 Kirkpatrick, D.l. (2006) Evaluating Training Programs (3rd ed). San Fransisco. CA: Berrett-Koehler publishers EVALUERING AV FRAM DAMVAD.COM 27

28 Adferd dreier seg om hvorvidt ny kunnskap har bidratt til endret adferd hos deltakerne. Resultater dreier seg om hvorvidt slik ending i adferd har bidratt til konkrete resultater og effekter. Resultater kan forstås som de mer kortsiktige og umiddelbare virkningene av et tiltak, mens effekter er mer langsiktige. Et resultat kan for eksempel være nye bedre dialog med styret, nye kontrakter eller nye produkter/ tjenester lansert i markedet. Effekter kan være økt verdiskaping og lønnsomhet eller et bedre renomme i markedet. På begge nivåer vil det kunne være snakk om ulike typer resultater, både økonomiske og ikke-økonomiske resultater og effekter. I et kompetansebyggingstiltak er det muligens enklere å vurdere måloppnåelse etter deltakernes respons og kanskje etter mål på faktisk læring. Men målet på kompetansetiltaket er også knyttet til at kunnskapen skal anvendes og gi konkrete resultater. Slik sett kan måloppnåelse defineres av formen på trekanten. En spiss trekant betyr sterk sammenheng fra positiv respons via læring, adferd og til resultat. I en svært flat trekant er det positiv respons men langt mindre læring, atferdsendringer eller resultater. 3.3 Metodetriangulering Alle metoder har sine styrker og svakheter og kan dermed utfylle hverandre. Med metodetriangulering drøftes en problemstilling på bakgrunn av funn fra flere metoder, For eksempel er spørreundersøkelser og kvantitative analyser godt egnet til å gi et representativt bilde og et helhetsinntrykk. Kvantitative analyser kan også vise statistiske sammenhenger mellom to ulike variabler. Dybdeintervjuer på den annen side, er bedre egnet til å forstå komplekse sammenhenger og kausalitet. I evalueringer av offentlige virkemidler vil man gjerne vite både hvilke resultater som er oppnådd i hele målgruppen, og om observerte resultater og effekter følger av det FIGUR 3.2 Virkninger av kompetansetiltak Resultater Adferd Læring Respons Kilde: Kirkpatrick (2006) 28 EVALUERING AV FRAM DAMVAD.COM

29 konkrete virkemiddelet eller påvirkes av andre forhold. Evalueringens robusthet er større dersom flere datakilder peker i samme retning, enn dersom metodene gir svar i ulike retninger. Hovedbildet i metodebruk er at kvantitative metoder som spørreundersøkelser og regnskapsdata eller statistikk er godt egnet til å dokumentere faktiske resultater, mens kvalitative intervjuer er viktige for å forstå sammenhenger og kausalitet. Dokumentstudier Evalueringen anvender tilgjengelige analyser, evalueringer, prosjektbeskrivelser og annen informasjon om bedriftene som har deltatt i programmet. Vi bruker også eksisterende data hos Innovasjon Norge som SOPP og kundeeffektundersøkelsen. Vi gjør også bruk av økonomisk teori, særlig under drøfting av relevans. Dokumentstudiene er særlig viktig for en grunnleggende forståelse av FRAMprogrammets innretning, bakgrunn og hvordan det fungerer i dag. Spørreundersøkelse rettet mot deltakerbedrifter Bedriftene som har deltatt i FRAM i perioden har fått tilsendt en spørreundersøkelse som går i dybden på hvordan bedriftene har opplevd FRAM, både fellessamlinger og støtte fra rådgiver (respons), hvilken kunnskap og hvilke verktøy de har fått ut av programmet (læring), hva de har gjort som en følge av deltakelsen (adferd) og hva eventuelle endringer har ført til (resultater og effekter). Spørreundersøkelsen er sendt ut til 1253 tidligere deltakere i FRAM-programmet i perioden mellom 2007 og Populasjonen tar utgangspunkt i Innovasjon Norges deltakerliste for den aktuelle perioden, som totalt inneholder 1317 deltakere. Av disse hadde 28 deltatt mer enn én gang og 36 manglet kontaktinformasjon (epostadresse). Spørreundersøkelsen ble besvart av 408 respondenter inkludert de som aktivt svarte at de ikke ønsket å delta. Dette gir en svarrate på 42 pst. etter at vi kontrollerer for eposter som ikke lenger er i bruk (vi fikk tilbakemelding fra Enalyzer Survey Solution at 280 epostadresser ikke eksisterte). Svarprosenten i seg selv gir ikke et fullstendig bilde av hvor representativt utvalget er for populasjonen. Dersom vi antar at respondentene hadde blitt trukket helt tilfeldig fra populasjonen på 1289 deltakere, ville vi oppnådd et representativt utvalg dersom 296 respondenter hadde gjennomført undersøkelsen (forutsatt en feilmargin på 5 pst. og et konfidensintervall på 95 pst.). Våre 343 gjennomførte undersøkelser vil derfor kunne sies å tilfredsstille forutsetningene om et representativt utvalg for populasjonen av unike deltakere i perioden mellom 2007 og 2013 med god margin. TABELL 3.3 Spørreundersøkelsen Antall Gjennomført 343 Ønsker ikke delta 65 Ikke svart 845 Respondenter 1253 Døde eposter 280 Svar 408 Nødvendig antall svar for representativt utvalg 296 Svarprosent 42% Svarraten vurderes som tilstrekkelig til å gi robuste og representative resultater. Dybdeintervjuer med FRAM-apparatet og bedrifter. Dybdeintervjuer er godt egnet til å forstå komplekse sammenhenger og årsaksforhold. Intervjuer med FRAM-apparatet er benyttet for å få grunnleggende forståelse for programmets innretning og hvordan EVALUERING AV FRAM DAMVAD.COM 29

30 programmet gjennomføres. I denne sammenhengen er det gjennomført intervjuer med et tilfeldig utvalg distriktskontor, et tilfeldig utvalg prosjektledere og et tilfeldig utvalg rådgivere. Respondentene fikk spørsmål både knyttet til vurdering av relevans, måloppnåelse og organisering. Vi har også gjennomført intervjuer med et tilfeldig utvalg bedrifter som har deltatt i FRAM, for å lettere tolke svar i spørreundersøkelsen. Bedriftene ble spurt om konkrete atferdsendringer og resultater oppnådd på bakgrunn av FRAM. TABELL 3.4 Oversikt over intervjurespondenter Type respondent Antall Innovasjon Norge distriktskontor 5 FRAM prosjektledere 5 FRAM rådgivere 6 Bedrifter 5 Prosjektledere er som regel rådgivere i tillegg, så i intervjuer med disse har vi også stilt spørsmål knyttet til rådgiverrollen. I realiteten er det derfor foretatt 11 intervjuer med rådgivere. I tillegg til disse intervjurespondentene har vi også intervjuet Innovasjon Norges hovedkontor. Regnskapsstatistikk og propensity score matching Regnskapsstatistikk er benyttet for å identifisere hvorvidt det har vært noen endringer på utvalgte økonomiske indikatorer hos bedriftene som har deltatt i FRAM. En utfordring i analyse av slike data er at mange andre forhold kan påvirke økonomisk utvikling i bedriften. Samtidig kan det være vanskelig å finne en sammenliknbar gruppe som ikke har tatt del i det virkemiddelet man ønsker å måle effektene av. For å sammenlikne bedriftene i FRAM med en mest mulig lik gruppe bedrifter anvender vi metoden propensity score matching (PSM). PSM trekker ut en kontrollgruppe med et tilfeldig utvalg bedrifter som besitter et definert antall liknende karakteristika som analysegruppen. På den måten finner vi de mest mulig sammenliknbare bedriftene av alle bedrifter som ikke har deltatt i programmet. Metoden er utfylt beskrevet i vedlegg 2. Samspillsdatabasen (DAMVAD) DAMVAD har over tid utviklet en database som inneholder informasjon om bedrifters deltakelse i ulike typer offentlige virkemidler. Per i dag har vi samlet informasjon om virkemidler i regi av Innovasjon Norge og virkemidler i regi av Norges Forskningsråd, og bevilget tilslag på SkatteFUNN 6. Denne databasen er interessant for å belyse enkelte kjennetegn ved bedriftene som deltar i FRAM; hvorvidt de benytter seg av andre virkemidler før, under og etter FRAM-deltakelse og hvilke virkemidler dette dreier seg om. Referansegruppemøter I evalueringen ble det oppført en referansegruppe bestående av FRAM-konsulenter og representanter fra Innovasjon Norges hovedkontor og distriktskontor, i tillegg til representanter fra Kommunal- og moderniseringsdepartementet og Nærings- og handelsdepartementet. Referansegruppen har vært med i drøftinger underveis i evalueringen og bidratt til å kvalitetssikre forståelsen av programmet og dets innretning. 6 Bevilget tilslag er ikke det samme som faktisk refundert skatt. Det er Norges Forskningsråd som innvilger, men det er skattemyndighetene som kontrollerer og faktisk gir skattefradrag. Det vil derfor kunne være bedrifter som har fått innvilget SkatteFUNN som likevel ikke får fradraget av ulike årsaker. 30 EVALUERING AV FRAM DAMVAD.COM

31 4 Relevans I dette kapittelet gjennomgår vi våre funn knyttet til relevansspørsmålet. Som nevnt innledningsvis er et av våre hovedspørsmål følgende Er FRAM-programmet godt begrunnet i faktiske behov, reell markedssvikt og gjeldende erfaringsgrunnlag?. I praksis kan relevansdiskusjonen deles opp i flere underspørsmål: 1. Hva er samfunnsproblemet som ligger til grunn for FRAM? 2. Hva er Innovasjon Norges løsning på problemet? 3. Ville samfunnsproblemet blitt løst uten offentlig inngripen? Hva er markedssvikten? 4. Hvem er målgruppen og når man denne? 5. Hvordan opplever brukerne relevansen? Det er disse spørsmålene som drøftes i kapittelet, på bakgrunn av de ulike datakildene som ble gjennomgått i forrige kapittel. Overordnet synes FRAM å være et relevant virkemiddel, men målgruppen kan være vanskelig å identifisere. 4.1 FRAM skal bidra til profesjonalisering, innovasjon og markedsorientering Som påpekt innledningsvis er hovedmålet til FRAMprogrammet å bidra til økt verdiskaping i små- og mellomstore bedrifter. Etter vår vurdering tjener det imidlertid liten hensikt å diskutere relevansen til FRAM på bakgrunn av denne svært overordnede målsetningen. Det er svært mange virkemidler som har denne overordnede målsetningen faktisk er FIGUR 4.1 Hovedspørsmål i diskusjonen om relevans Kilde: DAMVAD EVALUERING AV FRAM DAMVAD.COM 31

32 hele Innovasjon Norges virksomhet bygget rundt dette målet. Vi er interessert i det som skiller FRAM fra andre virkemidler som skal bidra til økt verdiskaping. Vi må derfor bevege oss ett hakk ned i målhierarkiet og spørre oss hva det er små- og mellomstore bedrifter i Norge mangler i dag som FRAM er et svar på? En viktig antakelse til grunn for utformingen av FRAM er at vekstkraftighet i norske små- og mellomstore bedrifter avhenger av profesjonalitet, markedsorientering og innovasjon. Forskning viser at det er bedrifter som investerer i kompetanse og innovasjon som overlever og vokser. 7 Motsatt kan man dermed anta at manglende profesjonalisering, manglende markedsorientering og manglende innovasjonsevne utgjør barrierer for vekst. Innovasjon Norges løsning på utfordringen er FRAM: en langsiktig forretningsutviklingsprosess med eksterne rådgivere, som skal bidra til økt profesjonalisering, økt markedsorientering og økt innovasjonsevne hos de deltakende bedriftene. En utfordring med å evaluere FRAM er at hvert prosjekt er skreddersydd til hver enkelt gruppe av deltakere. Hvilke temaer som gjennomgås på samlingene og gjennom rådgivningen varierer svært mye ut fra hva som er behovet til bedriftene som deltar i det enkelte prosjektet. Noen bedrifter har behov for kunnskap om fordeling av arbeidsoppgaver og andre ledelsesutfordringer, mens andre bedrifter har behov for kunnskap om hvordan gjennomføre en konkurrentanalyse. I tillegg vil det variere fra FRAM-prosjekt til FRAMprosjekt hvordan bedriftene får tilført kompetansen. Prosjektlederne har stor frihet i utvikling av samlingene. Noen ganger vil de forelese selv, noen ganger vil de velge eksterne forelesere, til noen temaer benyttes gruppearbeid, til andre temaer er det andre undervisningsformer osv. Rådgiverne vil også ha ulike framgangsmåter for hvordan rådgivningen best skal foregå. Noen er mer prosessorientert mens andre er mer spissede på forretningsutvikling. Det har ikke vært mulig å gå så detaljert til verks at vi har evaluert hver eneste kompetansemodul som bedriftene kan gjennomgå i løpet av FRAM til det er det for mange av dem, de er gjennomført på ulikt vis og dessuten er ikke informasjonen så lett tilgjengelig om hvilke bedrifter som har lært hva. Vedlegg 1 gir en oversikt over omfanget av områder som kan gjennomgås. Alle modulene kan imidlertid plasseres under ett av tre delmål, slik målhierarkiet i Figur 4.2 illustrerer. Hovedmålet er økt verdiskaping gjennom at bedriften får økt kompetanse. Det er tre delmål, eller kompetansemål, som underbygget hovedmålet: Profesjonalisering Markedsorientering Innovasjon Samlinger og rådgivning leder forhåpentligvis til atferdsendringer som gjør bedriften mer profesjonell, mer markedsorientert og mer innovativ. Delmålene samsvarer med de tre ulike variantene av FRAM-programmet som eksisterer i dag. Det må imidlertid understrekes at de tre kompetansemålene inngår i alle tre FRAM-varianter, men vektlegges på ulik måte. Virkemidlene i programmene (fellessamlinger, rådgivning, kunnskapsdeling mellom bedrifter) er også de samme uansett type FRAM-program, selv om vektleggingen også der varierer. 7 Jf. Bolkesjø m.fl.(2005): Evaluering av FRAM og ivel Telemarksforskning-Bø. Arbeidsrapport nr EVALUERING AV FRAM DAMVAD.COM

33 Forståelse av konkurranse Vi har definert profesjonalisering som evne til å utvikle funksjoner, rutiner og prosesser for oppgaveløsning og samhandling. Deltakerbedriftene får kompetanse på dette området gjennom ulike temaer, herunder: FIGUR 4.3 Markedsorientering NEI NEI Produktorientert Forståelse av kunde JA Kundeorientert Ledelse (lederutvikling) Ressurser (rekruttering og utvikling av ansatte) Styring (delegering av oppgaver) JA Konkurranseorientert Markedsorientert Økonomi og økonomistyring (budsjett, salg) Organisering (selskapsform, styrefunksjoner) Markedsorientering har vi definert som evne til å omsette kunnskap om marked i effektiv virksomhetsstrategi. I dette inngår at bedriften må forstå kunden, konkurransesituasjonen og egen leveranse/eget produkt i relasjon til kunden og konkurransen. Kilde: Kotler et al 2008 Innovasjonsevne kan både være tilknyttet indre forhold, men også bedriftens relasjon med omverdenen. Innovasjonsevne handler om å benytte eksisterende ressurser på nye måter eller ta i bruk nye ressurser. 8 Innovasjonsevne skiller seg ut ved å være en smalere tematikk enn profesjonalitet og markedsorientering som er mer sammensatt og består av mange ulike typer kompetanse og evner. Når vi snakker om FIGUR 4.2 FRAM-programmets målhierarki Overordnet mål Økt verdiskaping i bedriften Kompetansemål (delmål) Profesjonalitet Markedsorientering Innovasjonsevne Kilde: DAMVAD 8 OECD. The innovatove company EVALUERING AV FRAM DAMVAD.COM 33

34 å få kompetanse innenfor innovasjon snakker vi om konkret kompetanse på innovasjonsprosesser. Samtidig er det viktig å ha med seg at en bedrift kan ha evne til å være innovativ og være innovativ, selv om den ikke har tillært seg prosesser for å tilrettelegge for innovasjon. Faktisk kan økt kunnskap om strategiprosesser eller markedsorientering være kilder til å gjøre bedrifter mer innovative. Dette fordrer at vi kan forvente atferdsendringer og resultater knyttet til innovasjon selv om bedriften ikke har vært igjennom et kompetanseløft knyttet til begrepet innovasjon. 4.2 Markedssvikten er knyttet til asymmetrisk informasjon Det neste relevansspørsmålet er om det er behov for offentlig inngripen, eller om bedrifter kan bli mer profesjonelle, mer markedsorienterte eller mer innovative uten offentlig støtte. Hva er markedssvikten som ligger til grunn for dette virkemiddelet? En markedssvikt kjennetegnes ved at markedet på egen hånd ikke utløser en effektiv ressursfordeling. Eksempler på markedssvikt fra økonomisk teori er illustrert i Boks 4.4. Evalueringen tyder på at i den grad det finnes en markedssvikt forbundet med FRAM, så er denne knyttet til asymmetrisk informasjon. Bedriftene underinvesterer i kompetanse på forretningsutvikling fordi framtidig gevinst er vanskelig å se på investeringstidspunktet. På den en siden sitter bedriften som ser at den har noen utfordringer, men ikke hva den kan gjøre for å møte utfordringene. På den andre siden sitter FRAM-konsulenter og Innovasjon Norge med kunnskap om hva slags kompetanse bedriften vil kunne ha nytte av for å få økt vekst. Behovet for FRAM skyldes altså ikke at dette er det eneste virkemiddelet som bidrar til forretnings utviklingskompetanse. Vi vet at det finnes flere tilbydere i privat sektor som selger ulike former for bedriftsrådgivning. Alle rådgiverne og prosjektlederne som inngår i FRAM-apparatet har bedriftsrådgivning som sin egentlige virksomhet. Behovet for FRAM skyldes at bedriftene ikke vet hva som er løsningen på utfordringene deres, og derfor ikke evner å innhente løsninger på egenhånd. FRAM-apparatet, bestående av distriktskontor, prosjektledere og rådgivere, er innrettet slik at de jobber aktivt med å få bedrifter til å delta på FRAM. Av intervjuer framkommer det at begrepet som oftest benyttes er at FRAM må «selges inn til bedrifter». Det er altså i liten grad noe bedrifter kommer på å gjennomføre på egenhånd. Det er altså noe med FRAM og den framgangsmåten som benyttes for å nå ut til bedrifter som er nøkkelen her. Hadde ikke Innovasjon Norge og FRAMkonsulentene jobbet like aktivt, tyder intervjuene våre på at alternativet ikke ville vært å få hjelp andre steder. Alternativet ville vært å ikke få hjelp og fortsette som før, med de konsekvensene det hadde medført. FRAM-programmet har således høy addisjonalitet. Et annet funn som tyder på at det er asymmetrisk informasjon som er den mest åpenbare markeds svikten, er basert på funn på hva som skjer med bedriftene i etterkant av FRAM-deltakelse. Det vi finner er at mange av bedriftene fortsetter å kjøpe konsulenthjelp i etterkant av FRAM-deltakelse, evt. benytter andre virkemidler i regi av Innovasjon Norge dersom de fyller kriterier for dette. Således bidrar FRAM til at bedrifter får kunnskap om hvordan forretningsutviklingsutfordringer kan løses. FRAM bidrar således til en modningsprosess der bedrifter i større grad forstår hva som kreves for å vokse og drive lønnsomhet. Som det framkommer av Boks 4.4 kunne man tenkt seg andre former for markedssvikter også. Evalue- 34 EVALUERING AV FRAM DAMVAD.COM

35 ringen tyder imidlertid på at hverken kunnskapslekkasjer eller stordriftsfordeler er noen utfordringer. Ingen bedrifter har påpekt at de ikke ønsker å investere i kunnskapsheving. Ingen av FRAM-rådgiverne har uttrykt at FRAM-bedrifter ikke er relevante kunder snarer tvert imot. FRAM rådgivere fungerer ofte som rådgivere for bedriftene også etter endt FRAM-program. 4.3 Målgruppen til FRAM-programmet er modne for endring, men mangler informasjon om løsninger Diskusjonen i forrige avsnitt gir noen implikasjoner for hvilken målgruppe FRAM-programmet skal rette seg mot. I henhold til programbeskrivelsen er målgruppen til FRAM små- og mellomstore bedrifter med potensial for vekst, i tillegg til noen andre kriterier som må være fylt: Ønske og vilje til vekst og utvikling i bedriftens ledelse BOKS 4.4 Ulike former for markedssvikt Virkemiddelbruk må begrunnes i at det eksisterer en form for markeds- eller styringssvikt som begrenser samfunnets evne til å oppnå maksimal verdiskaping. For eksempel kan det tenkes at bedrifter investerer mindre i innovasjon og forretningsutvikling enn hva som er samfunnsøkonomisk optimalt: Samtidig viser forskning at det er bedrifter som investerer i kompetanse og innovasjon som overlever og vokser. Sånn sett bør bedrifter ha insentiv til å investere i kompetanseheving. Ulike former for markedssvikt kan være relevante og bidra til underinvestering i kompetanse: Kunnskapslekkasjer og eksternaliteter: I følge nyere vekstteori vil bedriftene underinvestere i kompetanseheving som følge av at fordelene av dette vil kunne tilflyte andre (konkurrenter) i markedet. Dette gjelder både «generisk kompetanse», satsing på FoU og større innovasjoner. Når det gjelder «generisk kompetanseheving» av ansatte, vil man alltid kunne risikere at den ansatte tar med seg kunnskapen og begynner å jobbe et annet sted. Når det gjelder større investeringer i FoU, teknologi og innovasjoner vil man, riktignok uten patentrettigheter eller annen sikring, risikere at andre kopierer løsningene man kommer fram til. Kopistene får da en gevinst, mens den fulle kostnaden bæres av innovatøren. Mangelfull informasjon: Små- og mellomstore bedrifter gjerne økonomisk sårbare, og det påvirker dagens lønnsomhet stort å skulle gjøre store investeringer i tiltak som man først på mye lengre sikt vil kunne bære fruktene av. Dersom gevinstene er usikre vil de typisk framstå som mindre enn de reelt er. Offentlig støtte kan avlaste denne kostnaden på kort sikt slik at kommersielle resultater kan ta litt lengre tid enn om investeringen hadde vært fra egne knappe ressurser. Hver enkelt bedrift tar heller ikke uten videre hensyn til læringseffektene av å samarbeide i nettverk. Læringseffektene kan like gjerne oppstå hos andre i nettverket enn en selv. For en enkelt bedrift er slike gevinster en ekstern effekt som i samfunnsøkonomisk teori er en kilde til markedssvikt. 9 Stordriftsfordeler: Det kan også hevdes at det finnes markedssvikt på tilbudssiden, bl.a. som følge av at tilbydere av kompetanse ikke anser små- og mellomstore bedrifter som relevante kunder og/eller at kompetansehevingstiltak ikke er godt nok tilpasset den enkelte bedrifts behov. 10 En gruppe av små- og mellomstore bedrifter som har nærliggende utfordringer vil gjøre at en tilbyder får færre kostnader tilknyttet både å tilpasse kompetansehevingstiltaket (kan tilby en slags standard) og til å samle en gruppe kunder (kundene er allerede samlet). Således vil en gruppe av små- og mellomstore bedrifter være mer relevante som kunde enn enkeltstående bedrifter. 9 Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler. SNF. Arbeidsnotat 03/ Bolkesjø m.fl.(2005): Evaluering av FRAM og ivel Telemarksforskning-Bø. Arbeidsrapport nr EVALUERING AV FRAM DAMVAD.COM 35

36 Vilje og evne til å prioritere deltakelse i FRAM Økonomisk styringsfart positivt resultat og positiv egenkapital FIGUR 4.5 Målgruppen i FRAM-programmet Evalueringen tyder imidlertid på at målgruppen er smalere enn det som kommuniseres gjennom programbeskrivelsen. Målgruppen er bedrifter som har et behov for kompetansetilførsel (og ønske om endring), men som ikke vet hva slags kompetanse de trenger eller hvordan de kan få tilført denne kompetansen. Bedriftene som har større forståelse for hva slags hjelp de trenger kan få hjelp på det private markedet. Innovasjon Norge skal ikke være en konkurrent til private tilbydere, og skal derfor ikke henvende seg til denne gruppen av bedrifter. Bedriftene som ikke forstår at de trenger hjelp er antakelig heller ikke modne for å få hjelp. Med utgangspunkt i at FRAM er et program som krever en del ressurser av bedrifter, både i form av egenandel og tidsbruk, må bedriftene ha en egen vilje og motivasjon for å gjennomgå en utviklingsprosess. Målgruppen til FRAM er derfor bedriftene som er i midten av disse to gruppene, jf. Figur 4.5. Målgruppen skiller seg noe fra programtype til programtype Det er i hovedsak tre varianter av FRAM-programmet, i tillegg til lokale tilpasninger. Målgruppen skiller seg noe fra programtype til programtype, selv om den generiske innfallsvinkelen beskrevet over gjelder. I FRAM-Marked er målgruppen enda snevrere enn beskrevet over. Bedriftene som rekrutteres inn i dette programmet skal være interessert i et helt konkret marked i et helt konkret land. Programmet er innrettet mot at bedriftene skal få bedre forståelse av om det i det hele tatt er mulig å få innpass i markedet og hva som i så fall skal til. 11 Likevel er det asymmetrisk informasjon som er markedssvikten; bedriftene vet ikke på forhånd hva som er mulighetsområdet og hva som skal til får å få innpass i markedet. FRAM-Innovasjon har kun eksistert i ett år, og det er kun gjennomført noen få piloter i løpet av 2013/2014. Rekrutteringskriteriene er ikke fastsatt helt ennå. 11 Det vil for øvrig fortsatt variere fra FRAM-prosjekt til FRAM-prosjekt hvor langt bedriftene har kommet i en internasjonaliserings- og markedsorienteringstankegang. 36 EVALUERING AV FRAM DAMVAD.COM

37 Lokale tilpasninger er som regel knyttet til at det er ønskelig med bransjespesifikke FRAM-program på bakgrunn av satsingsområder i fylket. Målgruppen er derfor snevrere i den forstand at det kun er industribedrifter eller kun landbruksbedrifter eller kun kulturbedrifter i hvert FRAM-prosjekt. FRAM er imidlertid fortsatt rettet mot bedrifter som har et behov men som ikke vet hva løsningen er. FRAM-programmet er godt innrettet for å nå målgruppen Selv om programbeskrivelsen beskriver målgruppen til FRAM-programmet på en bredere måte enn det vi mener er den faktiske målgruppen, tyder evalueringen på at FRAM-apparatet og Innovasjon Norge støtter forståelsen av hvem som faktisk er i målgruppen, og jobber ut fra dette. FRAM er innrettet på en slik måte at man tilstreber å nå denne smale målgruppen. Utgangspunktet for å nå målgruppen er i hovedsak bedrifter som tidligere har vært i kontakt med Innovasjon Norge. Av spørreundersøkelsen framkommer det at det i høyeste grad er Innovasjon Norge eller noen andre fra FRAM-apparatet som foreslår deltakelse (Tabell 4.6). Situasjonsanalysen som gjennomføres i forbindelse med rekruttering av bedrifter er en måte å kvalitetssikre at bedriftene både har et behov for hjelp, og at de er motiverte for å delta i et såpass ressurskrevende program som FRAM. Programmet er derfor innrettet på en slik måte at man forsøker å sikre at de bedriftene som deltar i FRAM er bedrifter som inngår i målgruppen. Hvorvidt Innovasjon Norge er innrettet for å nå ut til hele målgruppen er imidlertid et annet spørsmål. Rett nok er målgruppen smal, men det kan likevel være ganske mange bedrifter det er snakk om. FRAM-programmet markedsføres i liten grad, og det er en gjennomgående strategi i Innovasjon Norge at enkeltprogrammer i liten grad markedsføres. Begrunnelsen for dette er at bedrifter kun skal trenge å kjenne til Innovasjon Norge, ikke hele apparatet med ulike virkemidler som Innovasjon Norge forvalter (en dør inn-prinsippet). Dessuten er det utfordrende å få kommunisert på en enkel måte hvem som faktisk er målgruppen, og man ønsker ikke å havne i en situasjon der det må brukes mye ressurser på bedrifter som er uaktuelle i utgangspunktet. Som nevnt foregår derfor rekrutteringen av bedrifter gjennom Innovasjon Norges apparat. I noen fylker får imidlertid prosjektledere og rådgivere mulighet til TABELL 4.6 Rekrutteringsformer Hvordan ble du rekruttert til å delta i FRAM-programmet? Antall Prosent Jeg oppsøkte Innovasjon Norge med en generell forespørsel, og de foreslo at % jeg skulle delta Jeg hadde hørt om programmet og tok kontakt med prosjektleder eller Innovasjon % Norge for å høre om jeg kunne delta Jeg ble kontaktet av noen i FRAM-programmet (eller Innovasjon Norge) som % sa at jeg var en aktuell kandidat Annet (vennligst spesifiser) % Totalt % Kilde: Spørreundersøkelsen EVALUERING AV FRAM DAMVAD.COM 37

38 å komme med forslag til andre potensielle deltakerbedrifter som de kjenner til gjennom sine nettverk. Dette trepartssamarbeidet kan i bidra til å nå flere bedrifter i målgruppen, jf. Figur 4.7. Imidlertid kan det godt tenkes at det er de samme bedriftene som inngår i alles nettverk, og at det således ikke er gjensidig utelukkende grupper. At deltakere blir rekruttert gjennom nettverket til prosjektledere og rådgivere fordrer imidlertid at Innovasjon Norge er svært delaktige i vurdering og kvalifiseringen av bedriftene, for å forhindre at man inkluderer bedrifter som egentlig kunne kjøpt bedriftsrådgivningstjenester på det private markedet. FIGUR 4.7 Strategier for å nå målgruppen oppsøke Innovasjon Norge. Som det framgår av avsnitt 2.6 er det stort sett de samme næringene som går igjen i FRAM som går igjen i Innovasjon Norges virkemidler generelt FRAM-programmet når også bedrifter som antakelig ikke har reelt behov Det neste spørsmålet er om bedriftene som får støtte gjennom FRAM faktisk inngår i målgruppen, eller om det er tegn på at det inngår bedrifter som kanskje ikke hører hjemme her. En indikator på om Innovasjon Norge treffer rett målgruppe, er hva slags andre virkemidler i regi av Innovasjon Norge bedriften har deltatt på. Som påpekt blir bedriftene i hovedsak rekruttert gjennom Innovasjon Norge. Ved bruk av Samspillsdatabasen 12, har vi identifisert hvilke virkemidler bedriftene har benyttet før FRAM-deltakelsen, jf. Figur 4.8. Kilde: DAMVAD. Note: Dette er en skjematisk framstilling. Innovasjon Norges andel av målgruppekaken er framstilt større enn for prosjektleder og rådgiver siden evalueringen tyder på at det er denne inngangen som benyttes oftest. Imidlertid vil dette være noe forskjellig fra fylke til fylke, og avhenge av distriktskontorets engasjement. Risikoen ved å gå via Innovasjon Norges kunde databaser er at programmet støtter superbrukere eller begrenser seg til sektorer som har tradisjon for å 12 DAMVAD har samlet data om bedrifters deltakelse i ulike virkemidler i regi av Innovasjon Norge og Norges Forskningsråd i en egen database. Data om bedriftene som har fått støtte gjennom FRAM er koblet til Samspillsdatabasen for å kunne identifisere hva slags sammenhenger det er mellom FRAM deltakelse og andre støtteformer. 38 EVALUERING AV FRAM DAMVAD.COM

39 FIGUR 4.8 FRAM-deltakernes bruk av andre virkemidler i regi av Innovasjon Norge før deltakelse i FRAM 6 % 13 % 1 % 0 % 16 % Merk for øvrig at bedrifter kan ha fått støtte gjennom flere typer virkemidler; N= 1007 i denne figuren. For øvrig dreier det seg om 442 unike bedrifter. 4.4 FRAM er relevant i alle geografiske områder, men benyttes i ulik grad 64 % Forsknings- og utviklingskontrakter (IFU/OFU) Bygdeutviklingsmidlene Finansieringstjenester Andre tjenester Rådgivningstjenester (0.8 pst.) Nettverkstjenester (0.1 pst.) Kilde: Samspillsdatabasen (data fra Innovasjon Norge) N= 1007 Det framkommer at bedriftene primært blir rekruttert gjennom finansieringstjenestene (lån, tilskudd og stipend). Det er også interessant å legge merke til at en liten del av bedriftene som vi har funnet i Samspillsdatabasen blir rekruttert fra OFU/IFU. Dette utgjør ca. 60 bedrifter, dvs. ca. 4 pst. av bedriftene som deltok i FRAM i perioden mellom 2007 og Med vår kjennskap til OFU/IFU tilsier dette at bedrifter som kvalifiserer til å få støtte her, antakelig er svært modne og oppegående bedrifter, som kanskje har mindre behov for FRAM deltakelse. Samtidig er det faktisk også entreprenører og gründere som kan få støtte gjennom IFU/OFU og som dermed sannsynligvis også har nytte av kompetansetilførselen som FRAM tilbyr. Som det framkommer av kapittel 2.6 er det noen fylker som gjør seg mer bruk av FRAM enn andre. Særlig i Nordland har det vært svært mange FRAMprosjekter i tiden tilbake til Noe av dette kan nok forklares med at Nordland fylkeskommune disponerer mye midler til regional utvikling, og derfor er bevilgningen fra Nordland fylkeskommune til Innovasjon Norge Nordland relativt høy. Men dette er nok ikke forklaring alene. Vil anta at noe av årsaken til at noen fylker i større grad benytter seg av FRAM, er knyttet til prioriteringer på det enkelte distriktskontoret. I forbindelse med evalueringen har vi intervjuet flere av Innovasjon Norges distriktskontorer og prosjektledere tilknyttet disse kontorene; både i sentrale strøk og mer perifere strøk. Alle er av den oppfatning at FRAM er relevant for bedrifter i det konkrete geografiske området. Det skiller ikke noe på svar avhengig av hvilket distrikts vi har undersøkt. Dette er imidlertid ikke så overraskende. Med utgangspunkt i den noe smale målgruppen FRAM er rettet mot. Vi vil tro at denne typen bedrifter finnes det eksempler av i alle fylker. Kanskje finnes det noen flere av dem i noen fylker sammenliknet med andre, men i det FRAM klarer å nå den faktiske målgruppen er programmet like relevant (for målgruppen) uavhengig av geografi. EVALUERING AV FRAM DAMVAD.COM 39

40 4.5 Deltakerbedriftene opplever samlinger og rådgivningen som relevant Vi har undersøkt gjennom spørreundersøkelsen hvorvidt deltakerbedriftene selv opplever at FRAMprogrammet er relevant. Svarene gir en indikasjon på at FRAM i aller høyeste grad treffer et behov. I spørreundersøkelsen fikk bedriftene spørsmål om «Gitt at du vet det du vet i dag, ville du fortsatt deltatt i FRAM-programmet den gangen du fikk tilbud om det?» Over tre fjerdedeler svarer at de ville deltatt. Dette positive svaret indikerer at bedriftene får igjen for investeringen av å delta i FRAM, og således opplever at programmet er relevant. Spørreundersøkelsen indikerer for øvrig også at det er særlig samlingene og rådgivningen som bedriftene opplevde som relevant, jf. Figur 4.9, mens nettverkene i mindre grad har vært av betydning. Samtidig indikerer bedriftene som har deltatt i FRAM sammen med bedrifter innenfor samme næring, at nettverket da oppleves som mer relevant (dette omtales nærmere i kapittel 5.2.4). 4.6 Er alt faglig påfyll like relevant? FRAM-programmet har utviklet seg over tid til å bli mer fleksibelt og individuelt tilpasset. Det finnes en bruttoliste over temaer som kan gjennomgås på samlinger, og enkelte temaer er obligatoriske. For øvrig er det i stor grad opp til prosjektleder, noen ganger i samarbeid med Innovasjon Norges FIGUR 4.9 Relevansen av samlinger, rådgivning og nettverk. Det faglige innholdet i samlingene var i hovedsak svært relevant for min bedrift 86% 10% 4% Jeg følte at rådgiveren forsto de særskilte behovene i min bedrift 73% 22% 5% Gjennom FRAM-programmet har min bedrift fått et større nettverk av bedrifter som har vært svært nyttig for min bedrifts utvikling 20% 54% 26% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Helt enig Delvis enig Uenig Kilde: Spørreundersøkelsen Note: N = EVALUERING AV FRAM DAMVAD.COM

41 distriktskontor, å utvikle det enkelte FRAM prosjektet. Vi har ikke gått så detaljert til verks at vi har evaluert relevansen av hvert enkelt prosjekt. For øvrig ble fleksibiliteten til FRAM økt i to perioder i evalueringsperioden, parallelt med at kriteriene for å bli rådgiver og prosjektleder ble endret og gjort mer fleksible. Vi har derfor undersøkt i hvorvidt det er forskjell i opplevelsen av relevans, avhengig av tidspunktet bedriften deltok i FRAM. Resultatene framgår av Figur En sammenlikning av bedrifter som har deltatt på ulike tidspunkt kan belyse betydningen av denne utviklingen over tid. Det er viktig å være oppmerksom på at antallet respondenter er lavere fra periode til periode, så derfor må svarene tolkes med forsiktighet. Svarene på spørreundersøkelsen indikerer at bedriftene som deltok på FRAM i den mer rigide perioden opplever relevansen ved de faglige samlingene som høyere enn bedrifter som har deltatt i en mer fleksibel ordning. Økt målretting og tilpasning til hver enkelte bedrift, gjør at det er vanskeligere å utarbeide felles opplegg på samlinger som skal treffe alle bedrifter like godt. Målgruppen blir større, og langt mer heterogen noe som vanskeliggjør enn god (nok) tilpasning. FIGUR 4.10 Relevans fordelt på periode Det faglige innholdet i samlingene var i hovedsak svært relevant for min bedrift 92% 88% 84% 8% 9% 4% 11% 6% tom og 2013 Jeg følte at rådgiveren forsto de særskilte behovene for min bedrift 67% 81% 75% 15% 4% 25% 8% 23% 2% tom og 2013 Gjennom FRAM-programmet har min bedrift fått et større nettverk av bedrifter som har vært nyttig for min bedrifts utvikling 20% 20% 24% 52% 51% 58% 28% 28% 18% tom og 2013 Helt enig Uenig Delvis enig 0 % Delvis enig 50 % 100 % Helt enig Uenig Kilde: Spørreundersøkelsen Note: N = 26, 140 og 123. Flest respondenter i tidsperioden mellom 2008 til og med EVALUERING AV FRAM DAMVAD.COM 41

42 At relevansen til rådgiverne ikke har endret seg over tid i noen særlig grad tydeliggjør at prosjektlederne er gode på å finne en passende rådgiver til den enkelte bedriften. Selv om det over tid har blitt mer fleksibelt hva slags kompetanse rådgiverne skal ha, så virker ikke dette å ha hatt noen stor betydning for bedriftene (dette omtales mer i kapittel 5.5.5) Respondentene uttrykker at nettverket i mindre grad er relevant, sammenliknet med samlinger og rådgivningen, men det synes som at bedriftene som har deltatt i de siste årene av FRAM i større grad enn deltakerne som deltok for lengre tid siden opplever relevansen av nettverket. Denne responsen er uavhengig av bransjesammensetning på samlingene. En mulig forklaring på dette funnet kan være at nettverk og klynger er begreper som det har blitt satt mer søkelys på den senere tiden, og at dette søkelyset har gjort bedrifter mer bevisste på nettverk som et virkemiddel for egen utvikling. For øvrig, synes ikke FRAM å bidra til vedvarende nettverk, og programmet kan ikke regnes som et nettverksprogram. Det er mer nærliggende å beskrive FRAM som et program som tilrettelegger for erfaringsutveksling snarere enn nettverksbygging. 42 EVALUERING AV FRAM DAMVAD.COM

43 5 Målrealisering, resultater og effekter Dette kapitelet drøfter i hvilken grad FRAM når sine målsetninger. Bidrar programmet til å styrke deltakernes vekstkraft gjennom økt kompetanse på områdene profesjonalisering, markedsorientering og innovasjon? I vurderingen av måloppnåelse benyttes kompetansetrekanten presentert i kapittel 2. Det vil si at vi har undersøkt hvordan bedriftene opplever læringsprosessen (gjennom å delta på samlinger, få rådgivningstimer og nettverk) og hvordan de vurderer kunnskapen de har tilegnet seg på de tre områdene: Profesjonalitet Markedsorientering Innovasjonsevne Videre har vi undersøkt hvordan bedriftene bruker kunnskapen de har tilegnet seg og i hvilken grad kunnskapen bidrar til atferdsendringer. Avslutningsvis drøftes hvilke resultater atferdsendring fører til i virksomhetene. FIGUR 5.1 Virkninger av kompetansetiltak Resultater Vi har vurdert de tre FRAM-innretningene under ett, fordi de inneholder de samme kompetanseområdene, selv om de har noe ulik vektlegging. Vi gjør imidlertid noen særskilte vurderinger knyttet til FRAM Marked (som fram til 2012 het NAVIGATOR) og FRAM Innovasjon som en del av kapittelet. Disse to variantene har kun eksistert i henholdsvis ett og to år. 13 Avslutningsvis i kapittelet ser vi på effekter av deltakelse i FRAM-programmet, basert på en analyse av regnskapstall. Denne analysen er gjort på tvers av de tre programmene siden alle innretningene har som overordnet målsetning å bidra til økt lønnsomhet. Hovedfunnet fra evalueringen er at FRAM i stor grad bidrar til økt kunnskap, primært innenfor profesjonalisering, i noe mindre grad (men i økende grad) innen markedsorientering og i enda mindre (men i økende grad) innen innovasjon. Kunnskapen leder i stor grad til atferdsendringer, særlig innen profesjonalisering, men i relativt liten grad til konkrete resultater. Det er videre vanskelig å spore konkrete effekter av FRAM i regnskapsstatistikken. Kompetansetrekanten er således relativt flat for FRAM-programmet. Kilde: Kirkpatrick (2006) Adferd Læring Respons 5.1 Respondentene har vært igjennom mange forskjellige kunnskapsområder Det varierer fra FRAM-prosjekt til FRAM-prosjekt hvilke kunnskapsområder som har vært gjennomgått i FRAM-prosessen. Det varierer også fra bedrift til bedrift hva slags endringer FRAM-programmet skal bidra til for dette avhenger av bedriftens be- 13 NAVIGATOR har eksistert noe lengre, men ble omdømt til FRAM Marked i EVALUERING AV FRAM DAMVAD.COM 43

44 hov. Overordnet skal FRAM bidra til profesjonalisering, markedsorientering og innovasjonsevne, for at bedriftene skal få økt lønnsomhet. For å vurdere måloppnåelsen til FRAM-programmet, har det vært behov for en overordnet tilnærming. Vi har kategorisert de ulike potensielle kunnskapsområdene bedriften kan ha vært gjennom i FRAM-programmet, under overskriftene profesjonalisering, markedsorientering og innovasjonsevne. I spørreundersøkelsen har bedriften fått mer konkrete spørsmål under de tre overskriftene, men svarene bedriftene har avgitt er så aggregert opp til disse tre kategoriene i presentasjonen som følger i kapittelet. Tabell 5.2 viser de ulike kunnskapsområdene en FRAM-bedrift kan ha gjennomgått, og hvordan vi har definert dem under overskriftene profesjonalisering, markedsorientering og innovasjonsevne. Kategoriseringen er i samsvar med definisjonene presentert i avsnitt 4.1. Vi har definert profesjonalisering som evne til å utvikle funksjoner, rutiner og prosesser for oppgaveløsning og samhandling. Markedsorientering har vi definert som evne til å omsette kunnskap om marked i effektiv virksomhetsstrategi. I dette inngår at bedriften må forstå kunden, konkurransesituasjonen og egen leveranse/eget produkt i relasjon til kunden og konkurransen. Innovasjonsevne handler om å benytte eksisterende ressurser på nye måter eller benytte nye ressurser. Innovasjonsevne skiller seg ut ved å være et smalere kunnskapsområde. Innovasjonskompetanse handler i denne sammenhengen om kunnskap om operasjonalisering av innovasjonsprosesser og tilrettelegging for innovasjon i bedriften. TABELL 5.2 Kunnskapsområder kategorisert Kategori Profesjonalisering Markedsorientering Innovasjonsevne Kilde: DAMVAD Kunnskapsområde Strategi Lederutvikling Organisering Ressurser Økonomi Marked Vekst Samfunnsansvar Nettverk Salg Sosiale media Innovasjonsprosesser Noe som er utfordrende med FRAM er at profesjonalisering, markedsorientering og innovasjonsevne til dels kan være overlappende tematikker. Med andre ord kan kunnskap om profesjonalisering bidra til at bedriften blir mer profesjonell, men også til at den blir mer markedsorientert og innovativ. Likeledes kan økt markedsorientering bidra til økt innovasjonsevne, og muligens økt profesjonalitet. Det er derfor relevant å måle resultater på alle tre kunnskapsmålene på tvers av de tre kunnskapsområdene. I Tabell 5.3 framgår hva slags kompetanseområder respondentgruppen i spørreundersøkelsen har vært igjennom. Svarene er avgitt på direkte spørsmål om hva de har lært. Det skal nevnes at flere kommenterte at det var vanskelig å huske tilbake i noen sammenhenger, slik at det er ikke gitt at tabellen viser en helt nøyaktig sannhet. Tabellen illustrerer hvilke kompetanseområder som respondentene sitter igjen med. I tabellen har vi skilt på de ulike variantene av FRAM, men vær oppmerksom på at det er svært få respondenter innen FRAM Innovasjon og FRAM 44 EVALUERING AV FRAM DAMVAD.COM

45 Marked. Som tabellen viser, dekker alle programmene et relativt bredt spekter av kompetanseområder, noe som støtter vår begrunnelse i å vurdere FRAM under ett, på tross av noe ulik innretning. Utvikling av forretningsplanen er gjennomgående, men også et mer overordnet tema enn de øvrige områdene. Innen profesjonalisering er det særlig lederutvikling, organisering og økonomistyring som er framtredende kunnskapsområder. Innen markedsorientering er det særlig markedsorientering og markedsplanlegging samt vekststrategier. En god del bedrifter svarer også at de har vært igjennom innovasjonsprosesser. EVALUERING AV FRAM DAMVAD.COM 45

46 TABELL 5.3 Kompetanseområder hos FRAM-deltakerne Strategi Delegering og arbeidsdeling Markedsorientering Hva jobbet din bedrift med i FRAMprogrammet? Det er mulig å gi mer enn ett svar. Utvikling av forretningsplanen Strategisk ledelse N=246 Marked N=25 Innovasjon N=5 Antall Prosent Antall Prosent Antall Prosent % % 3 60 % Lederutvikling % 6 21 % 1 20 % Styrefunksjonen % 1 3 % 0 0 % Organisering og planlegging av oppgaver og tidsbruk % 1 3 % 3 60 % % 0 0 % 1 20 % Rekruttering 23 9 % 0 0 % 0 0 % Opplæring av ansatte 19 7 % 2 7 % 1 20 % Økonomistyring og budsjettarbeid % 1 3 % 0 0 % Marked % % % Konkurransesituasjon % % 4 80 % Vekststrategier % % 3 60 % Nettverk med andre bedrifter % 9 31 % 3 60 % Nettverk med kunnskapsinstitusjoner 19 7 % 3 10 % 3 60 % Salg % % 4 80 % Sosiale medier % 0 0 % 0 0 % Samfunnsansvar* 23 9 % 1 3 % 1 20 % Innovasjon Innovasjonsprosesser % 3 10 % 4 80 % Totalt Kilde: Spørreundersøkelsen Note: Kun fullstendige svar. Flere respondenter har påbegynt, men ikke gjennomført spørreundersøkelsen. *Samfunnsansvar har vært obligatorisk fra 2011/2012 og ikke behandlet i noen særlig grad før dette. Dette er noe av grunnen til lav score her. 46 EVALUERING AV FRAM DAMVAD.COM

47 5.2 Samlingene og rådgivningen står særlig sentralt i FRAM-prosessen Som beskrevet tidligere består FRAM programmet av tre bærebjelker: rådgiverne, samlingene og nettverket. Det er gjennom tilgang til disse at bedriftene skal styrke sin kompetanse og bli mer konkurransedyktige. Evalueringen tyder på at samlingene og rådgivningen gir mest nytte for bedriftene. Nettverket får også positiv tilbakemelding, men evalueringen tyder på at dette i mindre grad er viktig. Evalueringen tyder også på at nettverkene er mest nyttige når bedriftene som deltar er like og i samme bransje. Samlingene Bedriftene gjennomgår faglig innhold og møter de andre bedriftene på samlingene. Innholdet på samlingene varierer ut fra behovene gruppen med bedrifter har og hvilken variant av FRAM det dreier seg om. Hvordan prosjektlederne presenterer det faglige innholdet, og hvem som er ansvarlig for presentasjoner varierer også mye mellom de ulike prosjektene. Hvordan samlingene faktisk er og hvor relevante de oppleves for de ulike deltakerne kan derfor variere veldig. I utgangspunktet er det utfordrende å lage et opplegg som skal passe godt for alle bedrifter. Av den FIGUR 5.4 Betydning av Samlinger. Hvor enig er du i følgende Kilde: Spørreundersøkelsen Note: N = 270 EVALUERING AV FRAM DAMVAD.COM 47

48 grunn vil vi mene at responsen på spørreundersøkelsen viser at dette er noe FRAM-prosjektlederne i stor grad får til. De fleste bedriftene oppgir i spørreundersøkelsen at samlingene var relevante og nyttig kunnskap (mellom 80 og 90 prosent), jf. Figur 5.4. Respondentene ikke like tydelige på at samlingene har ført til endringer i bedriftene. Intervjuene tyder dessuten på at en del av stoffet som gjennomgås er kjent fra før. Enkelte bedrifter har også kommentert at den faglige gjennomgangen bærer preg av å være «konsulentføde» og at opplegg kopieres fra program til program. Bedriftene uttrykker for øvrig forståelse for at det er utfordrende å tilpasse samlingene til en gruppe, siden det behovet alltid vil variere fra bedrift til bedrift. Bedriftene har også uttrykt at det er godt med noen dager utenfor dagliglivet i bedriften, der de kan få faglig påfyll og møte andre bedrifter. Selv om de andre bedriftene er helt forskjellig fra en selv, ble det nevnt i intervjuene at de likevel hadde en del å lære a hverandre. Rådgiverne Rådgiverne er også svært sentrale i FRAM. Dette kommer primært fram gjennom intervjuer og delvis fra spørreundersøkelsen. Imidlertid er det gjennom de åpne spørsmålene i spørreundersøkelsen og ikke de direkte spørsmålene, at respondentene uttrykker seg positivt om rådgiverne. På direkte spørsmål er responsen noe dårligere, og således tyder FIGUR 5.5 Betydning av rådgiver. Hvor enig er du i følgende utsagn? Kilde: Spørreundersøkelsen Note: N = EVALUERING AV FRAM DAMVAD.COM

49 spørreundersøkelsen på at bedriftene opplever at samlingene er viktigere enn rådgivningen. Vi ville nok forventet at en større andel av bedrifter skulle uttrykt positiv respons på rådgivningen. Under halvparten mente at rådgivningen gjorde at de gjør jobben sin i bedriften på en annen måte eller at rådgivningen bidro til at materialet fra samlingene ble lettere å ta i bruk. I de åpne spørsmålene ble gode rådgivere som hjelper bedriftene utvikle strategi og gjøre nødvendige endringer blir trukket frem av mange, og også som det mest nyttige ved hele FRAM. «I samarbeid med rådgiver tok vi mange viktige veivalg som har ført oss dit vi er i dag. Det var til stor hjelp og vi er veldig glad for at vi gjennomførte FRAM i vår bedrift. Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Det synes også som om det er en sammenheng mellom de bedriftene som ikke er så fornøyd med programmet og de som ikke er fornøyde med sin rådgiver. Flere av bedriftene vi har snakket med forteller også at de i etterkant av FRAM kjøper tjenester fra rådgiveren selv. Dette kommer også frem i spørreundersøkelsen. Noen bedrifter vurderer dette som uproblematisk, mens andre syns at rådgiverne ble for pågående med å selge egne tjenester. Rådgiver hadde personlig agenda og brukte tiden til å selge sine egne varer og til og med selskaper.» Sitat fra spørreundersøkelsen på åpent spørsmål Nettverket Nettverket er den tredje bærebjelken i FRAM-programmet og det er meningen at bedriftene, gjennom å møte andre bedrifter skal kunne utveksle erfaringer med likesinnede bedrifter og personer som har lignende utfordringer. Evalueringen tyder på at det oppstår et nettverk i FRAM, men at dette ikke er et nettverk som vedvarer i etterkant av deltakelse. Et motiverende kurs, ikke minst fordi det er mulig å snakke og arbeide sammen med folk som har sammenlignende bedrifter med samme problemer.» Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan. Spørreundersøkelsen og intervjuene tyder på at bedriftene i liten grad danner sterke nettverk med de andre bedriftene og få bedrifter samarbeider profesjonelt med disse i ettertid. Noen forteller at de har fått nyttige sparringspartnere og vennskap gjennom FRAM, men at dette er på et mer personlig nivå og har i liten grad ført til profesjonelle samarbeid, jf. Figur 5.6. Gjennom deltakelse fikk vi fokus på noen områder som var nødvendig for virksomheten, det var veldig varierende kunnskapsnivå, omsetning og erfaring på de virksomhetene som deltok sammen med oss. Fikk lite igjen I forhold til diskusjoner og fokusområder som vi jobbet i da vi var mye lengre kommet i de fleste prosessene enn de andre som deltok. Det er nok viktig for fremtiden at det er virksomheter som er på samme "linje eller Status" slik at det blir nyttig for alle og at vi kan lære av hverandre.» Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan. Nettverkene i FRAM varierer avhengig av hvor like bedriftene som deltar er. Både intervjuene og spørreundersøkelsen tyder på at nettverkene og samlingene blir mer nyttige når bedriftene som deltar er i samme bransje. Bedriftene som har deltatt i FRAM med en gruppe bedrifter som er i samme bransje som en selv, er gjennomgående mer positive til FRAM, selv om forskjellene ikke er dramatiske. Intervjuene tyder også på at bedriftene som deltar i FRAM i det minste bør være i «samme fase» - om de ikke også er i samme bransje. EVALUERING AV FRAM DAMVAD.COM 49

50 At nettverkene ikke vedvarer i etterkant av FRAM kan nok i stor grad forklares ved at FRAM ikke er et program som er etablert for å stimulere til nettverk. Derfor vil sammensetningen av bedrifter variere fra gang til gang, og det settes ikke som krav om at bedriftene skal være komplementære eller likeartede. 14 Prosjektlederne Prosjektlederne har ansvar for helheten i FRAM prosjektene. De er ansvarlige for at bedriftene får en rådgiver som forstår deres behov og som har god kjemi med deltakeren, at innholdet og fokuset i samlingene er relevant og at sammensetningen av bedrifter i prosjektene er gode. Det har blitt sagt at en god prosjektleder skal være usynlig for bedriftene. Med dette menes det at ideelt sett skal FRAM fungere slik at prosjektlederens rolle ikke vises og prosjektlederen kun trår inn når ting ikke fungerer slik det skal. Våre intervjuer imidlertid tyder på at prosjektlederne tolker sin rolle noe ulikt, og noen prosjektledere er mer synlige enn andre. Hvor mye av det faglige innholdet prosjektlederne presenterer, og hvor synlige de er i samlinger varierer også. FIGUR 5.6 Betydning av nettverket. Hvor enig er du i følgende utsagn Kilde: Spørreundersøkelsen Note: N = Klynge- og nettverksteori sier at klynger og nettverk oppstår der det er rasjonelt for bedrifter å samarbeide, enten ved at de er komplementære og det oppstår læring og innovasjon, eller ved at de er likeartede og de tjener på stordriftsfordeler. Ofte er det gjerne en kombinasjon; bedriftene er likeartede i det at det forholder seg til samme marked, men komplementære i den forstand at de er i et kunde-leverandørforhold, eller leverer ulike komponenter i samme produkt. 50 EVALUERING AV FRAM DAMVAD.COM

51 Tilbakemelding fra bedrifter på samlinger og rådgivningen tyder på at prosjektlederne gjør en god jobb i å utvikle gode samlinger og å koble bedriften med en relevant rådgiver. Bedriftene har ikke blitt spurt om prosjektlederne direkte siden de ikke har så mye med dem å gjøre. Intervju med rådgiverne og Innovasjon Norges distriktskontor tyder på at gruppen av prosjektledere som har fått engasjement som FRAM-prosjektledere er en dyktig gruppe. Det har ikke vært noen tilbakemeldinger på at noen prosjektledere ikke holder mål. 5.3 Økt kunnskap og verktøy, særlig innen profesjonalisering og markedsorientering FRAM-programmet har i stor grad bidratt til kompetanseheving og verktøy hos bedriftene som har deltatt. Særlig oppgir bedriftene at de har fått økt kunnskap og forståelse for ulike områder innen profesjonalisering og markedsorientering, jf. Figur prosent av bedriftene har svart at de i stor grad eller i svært stor grad har fått kunnskap på ett eller flere av områdene som er knyttet til profesjonalisering. Likeledes har i overkant av 60 prosent svart at de i stor grad eller i svært stor grad har fått kunnskap på et av områdene knyttet til markedsorientering. Innen innovasjonsprosesser er andelen noe lavere. I underkant av 30 prosent har svart at de i stor grad eller i svært stor grad har mer kunnskap om innovasjonsprosesser. FIGUR 5.7 Andel bedrifter som i stor grad eller i svært stor grad har fått økt kunnskap innen områdene profesjonalisering, markedsorientering eller innovasjonsprosesser Profesjonalisering Markedsorientering Innovasjonsprosesser 0% 10% 20% 30% 40% 50% 60% 70% 80% Kilde: Spørreundersøkelsen Note: N =279 EVALUERING AV FRAM DAMVAD.COM 51

52 Særlig oppgir mange at de gjennom FRAM har fått bedre forståelse av strategiprosesser, økonomi og økonomistyring samt lederrollen og leders oppgaver. «Vi har lært mer om å drive en bedrift og fått bedre oversikt over gjøremål og strategier. Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Fikk analyse hvor vi var og hvor det var viktig å sette inn struktur. I tillegg brukte vi mye tid på å kartlegge vår markedsposisjon, studere konkurrentene og finne ut hvordan vi skulle jobbe mot å bli en betydelig aktør i vår bransje. Vi har lykkes i svært mange av de strategiske valg som ble gjort under Fram perioden, og hadde helt klart ikke vært der vi er i dag om jeg ikke hadde deltatt på dette. Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Vi har også spurt bedriftene om FRAM har gitt bedriftene konkrete verktøy innen profesjonalisering, markedsorientering og innovasjon. Svarene er parallelle med figuren over, i den forstand at bedriftene i hovedsak har fått verktøy knyttet til profesjonalisering og markedsorientering og i mindre grad knyttet til innovasjon og innovasjonsprosesser. I kapittel 4 var vi inne på at samlingene oppleves noe mindre relevante for bedriftene i dag, sammenliknet med tidligere. På grunn av dette ønsket vi å undersøke hvorvidt respondentene har ulike opplevelse av kunnskapen og verktøyene de har tillært seg i FRAM-perioden, avhengig av tidspunktet de deltok. Det ser ikke ut til å være noe særlige forskjeller i hvilken grad bedriftene mener de har fått kunnskaper innenfor profesjonalisering og markedsorientering over tid. Imidlertid har det vært en økning i hvorvidt bedriftene har fått økte kunnskaper innen innovasjon. Dette henger antakelig sammen med inntoget til FRAM Innovasjon den siste perioden. 5.4 Ny kompetanse endrer adferd i bedriftene Bedriftene har i stor grad evnet å ta kunnskapen og verktøyene fra programmet ut i praksis ved å gjøre endringer i bedriftene sine. Nesten alle bedriftene har gjennomført en endring i en eller annen form i etterkant eller under deltakelse av programmet. Andelen som har gjort endringer knyttet til profesjonalitet utgjør ca. 94 prosent, mens endringer knyttet til markedsorientering utgjør ca. 88 prosent. Over 50 prosent av bedriftene har også gjort endringer knyttet til innovasjonsprosesser. Dette er svært positive resultater. Det er nemlig ikke gitt at kunnskapsøkning leder direkte til atferdsendringer, selv om det er det man ønsker. Evalueringen tyder på at FRAM har en innretning som gjør at kunnskapen bidrar til noe mer. Spørreundersøkelsen tyder på at det er særlig endringer knyttet til å gjennomføre strategiprosesser og etablere nye mål og prioriteringer som bedriftene har gjennomført (76 prosent). Dessuten har svært mange utviklet forretningsplanen (69 prosent). 56 oppgir at FRAM har bidratt til å igangsette nye innovasjonsprosesser. Dessuten har over femti prosent av deltakerne tatt initiativ til eller økt deltakelse i uformelle nettverk med andre bedrifter og etablert nye rutiner for å øke salg. Færre bedrifter har forbedret innsamling analyse eller intern formidling av markedsinformasjon eller konkurrenter (ca. 30 prosent). Intervjuene med bedriftene tyder på at det er ulike typer endringer som gjennomføres. Noen endringer er svært konkrete og handler eksempelvis om å skaffe seg et IT-system, eller bytte lokalisering på bedriften. Andre endringer er mer knyttet til tankesettet; at bedriften endrer bevisstheten knyttet til hvordan de kan drive mer lønnsomt. På bakgrunn av denne bevisstgjøringen gjennomfører bedriftene mer systematiske strategiprosesser, og vurderer egen forretningsplan kontinuerlig. I forbindelse med 52 EVALUERING AV FRAM DAMVAD.COM

53 disse strategiprosessene leier de gjerne inn bedriftsrådgivere; enten rådgiveren de fikk i forbindelse med FRAM, eller en annen rådgiver i det private markedet. Intervjuene og spørreundersøkelsen tyder på at endringskompetansen både skyldes innretningen til programmet. Programmet vektlegger gjennomføring konkrete tiltak og endringer gjennom utviklingsprosjektet. Ved at bedriftene får veiledning og konkret rådgivning underveis får de både hjelp til å se behov for endringer, men også støtte til å gjennomføre disse endringene. FRAM bidrar i større grad nå enn tidligere til atferdsendringer innen innovasjon, dersom vi ser på svarene til respondentene avhengig av hvilken periode de deltok i FRAM. Atferdsendringer innen profesjonalisering og markedsorientering har holdt seg stabilt uavhengig av periode bedriften deltok i FRAM. FIGUR 5.8 Bedrifter som har endret adferd som følge av FRAM. Profesjonalisering Markedsorientering Innovasjonsprosesser 0,0 % 10,0 % 20,0 % 30,0 % 40,0 % 50,0 % 60,0 % 70,0 % 80,0 % 90,0 % 100,0 % Kilde: Spørreundersøkelsen Note: 277 EVALUERING AV FRAM DAMVAD.COM 53

54 5.5 Noen bedrifter får bedre resultater som følge av deltakelse i FRAM Det siste trinnet i kompetansetrekanten er konkrete resultater som følge av kompetansehevingen. Bedriftene ble spurt om FRAM-programmet har ført til faktiske forbedringer på ulike områder innen profesjonalisering, markedsorientering og innovasjon. Svarene reflekterer det vi tidligere har sett, at det er mest positive resultater knyttet til profesjonalisering, deretter markedsorientering og avslutningsvis innovasjonsevne. Det framkommer imidlertid av spørreundersøkelsen at bedriftene i større grad nå enn tidligere rapporterer om resultater innen innovasjon. bedrifter som har gjennomført endringer. Dette kan blant annet skyldes at de konkrete resultatene ikke har blitt oppnådd ennå. Dessuten er profesjonaliseringsarbeid og markedsorienterte kontinuerlige prosesser, og bedriftene påpeker i intervjuene at dette er problemstillinger de jobber kontinuerlig med. I de følgende avsnittene ser vi nærmere på typen resultater bedriftene har oppnådd. Evalueringen viser at det er færre bedrifter som oppgir at de har oppnådd konkrete resultater enn FIGUR 5.9 Bedrifter som i stor grad eller i svært stor grad mener FRAM har bidratt til at bedriften har blitt/fått: Mer profesjonell Mer markedsorientert Bedre systemer for innovasjon 0,0 % 10,0 % 20,0 % 30,0 % 40,0 % 50,0 % 60,0 % 70,0 % Kilde: Spørreundersøkelsen Note: N = EVALUERING AV FRAM DAMVAD.COM

55 Profesjonalisering Figur 5.10 viser bedriftenes vurdering av ikke-økonomiske resultater som følge av økt profesjonalisering. I henhold til spørreundersøkelsen har FRAM særlig bidratt til en bedre forretningsplan, bedre kontroll med bedriftens økonomi og bedre ledelse. FRAM har i mindre grad bidratt til bedre rekruttering. De åpne kommentarfeltene i spørreundersøkelsen illustrerer ulike typer resultater bedriftene har fått. Bedriften har fått litt bedre rutiner i forhold til nedskrevne handlingsplaner og budsjett.» Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan «Ny ledelsesstruktur med klarere roller og ansvarsfordeling, ekstern server for informasjon som er tilgjengelig for alle, utvikling av design i etterkant av FRAM prosjektet ved hjelp av Innovasjon Norge, utvikling av opplæringsverktøy for personalet etc. Veldig positivt å bli dratt ut av komfortsonen og utfordret! Bravo FRAM! Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Markedsorientering Innen markedsorientering er resultatene noe svakere enn innen profesjonalisering. Men flere bedrifter oppgir nye kontrakter både i nye og i eksisterende markeder. Et punkt som etter vår mening kanskje burde hatt en mer positiv respons, er oversikt over konkurrenter. For å være markedsorientert FIGUR 5.10 Resultater knyttet til profesjonalisering Bedre forretningsplan Bedre kontroll med bedriftens økonomi Bedre ledelse Bedre organisering av egne oppgaver og tidsbruk Bedre arbeidsdeling Et mer kompetent styre Bedre samarbeidsformer mellom ansatte Bedre rekruttering 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% I stor grad I noen grad I liten grad Kilde: Spørreundersøkelsen Note: N = 276 EVALUERING AV FRAM DAMVAD.COM 55

56 skal bedriften både ha større forståelse for markedet den opererer i, men også forståelse for konkurrenter som opererer i samme marked. «Bedre markedsplan, organisering og effektivisering. Gitt bedriften og dens involverte bedre forutsetninger for å tiltrekke nødvendig finansiering (investorer). Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan "Vi var tre bedrifter som allerede før programmet hadde bygget fabrikk i Vietnam. Som et ledd i denne satsingen ønsket vi økte leveranser til det vietnamesiske markedet. Vi fikk god hjelp av både rådgiver og Innovasjon Norge på økt kulturforståelse og hjelp til å komme i kontakt med potensielle kunder. Godt fornøyd med dette. Kunne ytt noe mer egeninnsats. Sitat fra spørreundersøkelsen på spørsmål om hva som har hatt effekt og hvordan Innovasjon Over halvparten av bedriftene oppga i spørreundersøkelsen at de har satt i gang innovasjonsprosesser som følge av deltakelse i FRAM. Innovasjonsgraden på prosjektene er lav sammenlignet med Innovasjon Norges kundeeffektundersøkelse, men dette gjenspeiler trolig at FRAM (med unntak av FRAM Innovasjon) ikke er et innovasjonsprogram. FIGUR 5.11 Resultater knyttet til markedsorientering Mer salg Nye kontrakter i nye markeder Mer samarbeid med andre bedrifter Et større nettverk med bedrifter Nye kontrakter i eksisterende markeder Bedre oversikt over konkurrenter Økt samfunnsansvar Et større nettverk med kunnskapsinstitusjoner 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% I stor grad I noen grad I liten grad Kilde: Spørreundersøkelsen Note: N = EVALUERING AV FRAM DAMVAD.COM

57 Omtrent 56 prosent av bedriftene oppga i spørreundersøkelsen at FRAM har bidratt til at bedriften har igangsatt nye innovasjonsprosesser for nye tjenester eller produkter. Med andre ord har FRAM ført til at bedriftene har blitt mer innovative, selv om innovasjon i seg selv ikke har vært et fokus på kompetansehevingen. Dette kan skyldes at ved at bedriftene blir mer systematiserte og profesjonelle, og får mer kunnskap om kundenes behov gjennom markedsorientering, oppstår det innovasjon. Bedriftene ser hvordan de kan forbedre seg og sitt produkt og har bedre systemer og kapasitet for å sette i gang slike prosesser. Bedriftene har også fått spørsmål knyttet til faktiske innovasjoner. Rundt halvparten av bedriftene oppgir at FRAM-programmet har bidratt til organisasjonsutvikling eller utvikling av et produkt, en vare eller en tjeneste. 34 prosent oppgir at deltakelsen har bidratt til utvikling av produksjonsprosesser, jf. Figur Bedriftene som svarte ja på hvorvidt programmet hadde bidratt til innovasjon på de ulike områdene fikk oppfølgingsspørsmål knyttet til hva slags type forbedring eller utvikling de hadde gjort, og en vurdering av innovasjonsgrad i form av hvor nytt det de har utviklet er. Sammenlignet med innovasjonsgraden til alle bedriftene som fikk støtte av Innovasjon Norge i 2009, og deltok i etterundersøkelsen i kundeeffektundersøkelsen til Innovasjon Norge i 2013, er innovasjonsgraden til bedriftene lav. I etterundersøkelsen til kundeeffektundersøkelsen til Innovasjon Norge i 2013 lå innovasjonsgraden FIGUR 5.12 Har FRAM-programmet bidratt til at din bedrift har utviklet eller forbedret: Kilde: Spørreundersøkelsen Note: N = 270 EVALUERING AV FRAM DAMVAD.COM 57

58 (andel utviklinger som er helt nye) på 25 prosent på produkter, varer og/eller tjenester og 11 prosent på produksjonsteknologi eller produksjonsmetoder. Tilsvarende tall for vår spørreundersøkelse var 16 prosent for produkt/vare og/eller tjenester og 5 prosent for produksjonsteknologi eller metoder. Økonomiske resultater I spørreundersøkelsen har deltakerbedriftene svart på hvordan FRAM har innvirket på økonomiske resultater. Svarene kan både si oss noe om effektene av FRAM og deltakerbedriftenes utgangspunkt. Omtrent 20 pst oppga at deltakelsen i FRAM i stor eller svært stor grad har ført til bedret lønnsomhet eller økt omsetning jf Dersom vi tar med kategorien «i noen grad» er det rundt 60 pst. av bedriftene som mener FRAM har bidratt til økt lønnsomhet eller økt omsetning. Disse svarene understøttes imidlertid ikke av regnskapsanalysen der vi ikke finner økonomiske effekter av deltakelse i FRAM (utdypes nærmere senere). I tillegg har 28 pst svart at FRAM i stor eller svært stor grad har styrket bedriftens overlevelsesmulighet. Det siste gjelder både for bedrifter som deltok i en tidlig fase og bedrifter som har deltatt de siste årene. Økt lønnsomhet og omsetning er viktig for alle bedrifter. Overlevelsesmulighet er i større grad en relevant variable for bedrifter som opplever betydelige utfordringer. I de senere årene har FRAM styrket sin vektlegging av vekstkraft i utvelgelse av deltakerbedrifter. Det betyr at deltakerne skal være godt etablerte bedrifter i vekst og med gode resultater. Overlevelsesmulighet skal dermed i prinsippet ikke være FIGUR 5.13 I hvilken grad har din bedrift, som følge av deltakelse i FRAM oppnådd: Bedret overlevelsesmulighet 28% 44% 28% Økt omsetning 21% 40% 39% Bedret lønnsomhet 20% 43% 37% Større markedsandel innenlands 13% 34% 54% Bedre systemer for kommunikasjon med omverden 10% 33% 57% Økt eksport 4% 9% 87% Større markedsandel utenlands 3% 7% 90% 0% 20% 40% 60% 80% 100% I stor grad I noen grad I liten grad Kilde: Spørreundersøkelsen Note: N = EVALUERING AV FRAM DAMVAD.COM

59 et relevant resultat av FRAM. Når overlevelsesmulighet likevel oppleves som en viktig effekt for deltakerbedriftene, kan det tyde på at rekrutteringen i stor grad også omfatter svakere bedrifter. FRAM har i mindre grad ført til større markedsandel innenlands eller bedre kommunikasjon med omverden. FRAM har i liten grad bidratt til at bedriftene har fått nye markeder i utlandet; nesten ingen oppgir at FRAM har bidratt til økt eksport eller større markedsandeler utenlands. Dette reflekterer nok både at det at det å komme seg inn på nye utenlandske markeder er krevende, men også at FRAM, med unntak av FRAM Marked og Navigator, ikke har hatt særskilt fokus på dette. EVALUERING AV FRAM DAMVAD.COM 59

60 Bedriftene i distriktsfylker oppgir i noen grad mer positive resultater av FRAM deltakelse Evalueringen indikerer at FRAM har gitt noe mer positive resultater for bedriftene som er innenfor det distriktspolitiske virkeområdet enn de som er utenfor. Dette kan tolkes i retning av at FRAM i større grad klarer å treffe riktig målgruppe i distriktene. Av de 342 bedriftene som har svart på undersøkelsen er det 131 bedrifter vi ikke har adresse eller kommune nummer på, men for de resterende er det 124 bedrifter som er innenfor det distriktspolitiske virkeområdet og 87 bedrifter som er utenfor. Jevnt over oppgir flere av bedriftene som er innenfor det distriktspolitiske virkeområdet at de har fått økt kunnskap, endret adferd og oppnådd resultater som følge av FRAM enn de som er utenfor det distriktspolitiske virkeområdet. Forskjellene mellom de to gruppene er små, men gjennomgående, jf. Figur FIGUR 5.14 I hvilken grad har din bedrift, som følge av deltakelse i FRAM oppnådd: Økt omsetning 35% 41% 50% 18% 16% 9% Innenfor Utenfor Økt eksport 88% 50% 12% 9% 3% 5% Innenfor Utenfor Større markedsandel utenlands 88% 54% 9% 3% 10% 3% Innenfor Utenfor Bedret lønnsomhet 39% 33% 44% 26% 18% 9% Innenfor Utenfor Bedret overlevelsesmulighet 24% 29% 54% 24% 22% 15% Innenfor Utenfor Bedre systemer for kommunikasjon med omverden 51% 41% 39% 23% 10% 4% Innenfor Utenfor Større markedsandel innenlands 50% 47% 41% 14% 10% 7% Innenfor Utenfor 0 % 20 % 40 % 60 % 80 % 100 % I liten grad I noen grad I stor grad I liten grad I noen grad I stor grad Kilde: Spørreundersøkelsen 60 EVALUERING AV FRAM DAMVAD.COM

61 5.6 FRAM Marked Forskjellen på FRAM Marked og FRAM Strategisk ledelse, er at FRAM Marked er rettet mot bedrifter som har et konkret, internasjonalt marked de ønsker å komme inn på. Således dreier programmet seg i stor grad om å få kunnskap om dette konkrete markedet, og hva som skal til for å slå igjennom i markedet. Intervjuer med FRAM-apparatet tyder på at det kan variere fra prosjekt til prosjekt i hvilken grad bedriften er moden for å gå inn i et nytt marked, og det varierer også derfor hva bedriften har kunnskap om. Et resultat av FRAM-deltakelse kan vel så gjerne være at bedriften bestemmer seg for ikke å satse på å gå inn i markedet. For de fleste bedriftene som har deltatt på FRAM Marked/ NAVIGA- TOR (rundt 60 prosent) har programmet hjulpet dem inn på nye markeder ved hjelp av å finne markedsstrategien og/eller potensielle samarbeidspartnere. For noen bedrifter (31 prosent) har derimot deltakelsen ført til at de har innsett at de ikke burde satse i det aktuelle markedet, jf. Figur Blant bedriftene som har deltatt i FRAM Marked/ NAVIGATOR er det en noe høyere andel som mener at FRAM har bidratt til økt eksport eller større markedsandeler (10 prosent, 3 av 30) enn deltakerne i FRAM samlet sett (henholdsvis fire og tre prosent). Disse tallene vil vi fortsatt vurdere som litt lave, tatt i betraktning at markedsorientering er hovedformålet med FRAM Marked. 70 prosent (21 bedrifter) mente at deltakelsen i liten grad hadde ført til større markedsandeler utenlands og 57 prosent (17 bedrifter) at deltakelsen i liten grad hadde ført til økt eksport. Resultatene tyder på at rekrutteringen til FRAM Marked kan være strengere. Dette ble også påpekt FIGUR 5.15 Resultater av FRAM Marked Deltakelse i FRAM Marked/Navigator bidro til at jeg fikk kontakt med potensielle samarbeidspartnere i det 59% 34% 7% Deltakelse i FRAM Marked/Navigator bidro til at jeg fant markedsstrategien for å komme inn i markedet 62% 31% 7% Deltakelse i FRAM Marked/Navigator fikk meg til å innse at vi ikke burde satse i det aktuelle markedet 31% 59% 10% 0% 20% 40% 60% 80% 100% Ja Nei Vet ikke/ikke relevant Kilde: Spørreundersøkelsen Note: N = 25 EVALUERING AV FRAM DAMVAD.COM 61

62 gjennom intervjuer med rådgivere og prosjektledere. Selv om det er krevende å komme seg inn på et nytt marked og øke sin eksport, bør det kunne forventes bedre resultater og effekter. Trolig gir programmet mer verdi for bedrifter som allerede er på vei inn på et nytt marked og er mer modne for hjelp. Mulig bør FRAM Marked ha enda strengere kriterier for deltakelse. Dette styrker også argumentet for at FRAM Marked beholdes som et nasjonalt program. FRAM Marked i sin nåværende form har kun eksistert siden 2012, men NAVIGATOR har eksistert noe lengre. I perioden har 86 bedrifter deltatt på FRAM Marked/Navigator, og 32 har svart på spørreundersøkelsen. Selv om dette gir en svarprosent på 37 pst. bør svarene tolkes med forsiktighet siden populasjonen er såpass liten. Kun 25 bedrifter har gitt fullstendige svar. FRAM Innovasjon jevnt over har vært fornøyd med deltakelse i programmet. Fire av fem respondenter ville deltatt igjen dersom de hadde fått muligheten. Det framkommer videre av spørreundersøkelsen at det bedriftene primært har fått igjen av deltakelse er inspirasjon til å tenke innovativt og verktøy til å sette innovasjonsprosesser i system. Tre av respondentene har en konkret innovasjon de ønsker å få ut på markedet, men på tidspunktet undersøkelsen ble gjennomfør var det to som ikke hadde noen konkret innovasjon. Det kan derfor ikke forventes så mange konkrete resultater og effekter av deltakelsen på det nåværende tidspunktet. To av respondentene har deltatt i FRAM-programmet tidligere. Det framkommer ikke hvilken variant av FRAM de har deltatt i tidligere, men i og med at FRAM Innovasjon er helt nytt, har de sannsynligvis deltatt i FRAM Strategisk ledelse. 5.7 FRAM Innovasjon FRAM Innovasjon skiller seg fra FRAM Strategisk ledelse i den forstand at det har et sterkere fokus på innovasjonsprosesser og hvordan bedriften kan tilrettelegge for innovasjon. Utviklingsprosjektet bedriften skal gjennomføre i løpet av FRAM-prosessen handler om hvordan planlegge og igangsette innovasjonsprosjekt. FRAM Innovasjon har vært pilot i Noen av pilotprosjektene pågår fortsatt. I 2013 hadde kun 16 bedrifter deltatt på FRAM Innovasjon, hvorav 6 har svart på spørreundersøkelsen 15. Selv om svarprosenten er 37,5 pst. er det betydelig usikkerhet knyttet til svarene som følge av at populasjonen er så liten. Selv om svarene skal tolkes med forsiktighet, kan vi nevne at det ser ut til at bedriftene som har deltatt i 15 En har imidlertid kun svart på begynnelsen av undersøkelsen. 62 EVALUERING AV FRAM DAMVAD.COM

63 5.8 Økonomiske effekter kan ikke dokumenteres I spørreundersøkelsen ble bedriftene spurt om hvilken effekt de mener FRAM deltakelsen samlet sett har hatt på bedriften. Over 80 prosent mener at deltakelsen har hatt en positiv effekt. FIGUR 5.16 Samlet sett, hva slags effekt tror du deltakelsen I FRAM-programmet har hatt for din bedrift? heter, hvor vi finner igjen regnskap for 799 i Enhetsregisteret. Det endelige utvalget inkluderer 384 deltakere i FRAM-programmet. Figur 5.17 viser utviklingen i gjennomsnittlig verdiskaping 16 for deltakere i FRAM-programmet og kontrollgruppen for fire år før og etter deltakelse. Utviklingen er indeksert til det året virksomheten deltar, slik at den i år null per definisjon er identisk for de to gruppene. 17 Figuren belyser at utviklingen i gjennomsnittlig verdiskaping for de to gruppene følger hverandre tett både før og etter deltakelse. Dette betyr at vi ikke kan påvise signifikante forskjeller i verdiskaping mellom deltakerbedrifter og en bedrifter det ville vært naturlig å sammenlikne med (kontrollgruppa). FIGUR 5.17 Gjennomsnittlig verdiskaping N=270 I dette kapittelet ønsker vi å identifisere forskjeller i økonomisk utvikling mellom de virksomhetene som har deltatt i FRAM-programmet og lignende virksomheter som ikke har deltatt i FRAM-programmet. Den økonometriske analysen benytter en metode kjent som «propensity score matching (PSM)», og er utdypet nærmere i vedlegg 2. Analysen benytter regnskapsdata fra Enhetsregisteret for perioden , koblet med Innovasjon Norges deltakerlister for FRAM-programmet for evalueringsperioden Deltakerlistene for FRAM-programmet inneholder 1246 unike virksom Kontroll Deltaker Kilde: DAMVAD 2014 Det er rimelig å anta at det vil ta tid før vi observerer effekter på økonomiske størrelser som omsetning og verdiskaping som følger av deltakelse i FRAM- 16 Definert som summen av driftsresultat, av- og nedskrivninger av varige driftsmidler og immaterielle eiendeler og lønnskostnad. 17 Antall deltakere og kontrollforetak vil derimot reduseres dersom man beveger seg bort fra deltakeråret (år null). Derfor er også perioden for effektmålingen begrenset til fire år før og etter deltakelse. EVALUERING AV FRAM DAMVAD.COM 63

64 programmet. Likevel er tidsperspektivet noe begrenset. Med de dataene vi har tilgjengelig vil maksimal periode etter deltakelse være fem år, og det er begrenset hvor mange virksomheter som deltok i FRAM-programmet i 2007 og som vi finner igjen i Enhetsregisteret. Dersom vi hadde hatt data på deltakere år etter deltakelse ville vi i større grad kunne forvente å fastslå effekter på for eksempel verdiskaping. Kontrollgruppen (den kontrafaktiske situasjonen) er etablert med utgangspunkt i bedriftenes størrelse, finansielle situasjon, lønnsomhet, geografi, næring og alder. Se Vedlegg 2 for nærmere informasjon om valg av variable og kontrollgruppens karakteristika. Selv om vi skal være forsiktig med å legge for stor vekt på disse resultatene, peker både beskrivelsen av bedriftene (avsnitt 2.5.6) og den økonometriske analysen på at deltakerne i FRAM-programmet ikke skiller seg nevneverdig fra lignende virksomheter med tanke på økonomisk utvikling. Resultater fra spørreundersøkelsen og intervjuer tyder også på at konkrete resultater fra FRAM er svake, selv om det også finnes positive resultater. Det vil vanskelig la seg gjennomføre en økonometrisk undersøkelse av om økonomiske effekter er større eller mindre for bedrifter innen det distriktspolitiske virkeområdet enn de som er utenfor. Dette ville krevd at det finnes et tidspunkt for når en bedrift endrer status fra å være innenfor til utenfor eller omvendt for å se om dette gir seg utslag i økonomiske variable. 64 EVALUERING AV FRAM DAMVAD.COM

65 6 Organisering og effektivitet Dette kapittelet drøfter organisering og effektivitet i FRAM-programmet. Selv om offentlig innsats gir resultater i tråd med målene, kan det tenkes at resultatene kunne blitt enda bedre, ved hjelp av annen organisering eller innretning, jf. evalueringens problemstilling «Er programmet hensiktsmessig organisert for å nå sine mål og er det kostnadseffektivt?». Analysene i dette kapittelet bygger på dybdeintervjuer med FRAM-apparatet, i tillegg til spørreundersøkelsen mot bedrifter og dybdeintervjuer med bedrifter. Avslutningsvis i kapittelet gjør vi en enkel samfunnsøkonomisk vurdering av programmet, basert på de viktigste kostnadskomponentene i programmet, og gevinsten vi har identifisert gjennom regnskapsanalysen. 6.1 Organisering av FRAM-programmet fungerer i hovedsak bra FRAM-programmet er organisert ved at det er flere aktører med ulike roller som driver programmet, jf. kapittel 2.4. Man kunne tenkt seg at dette gir utfordringer, særlig på to måter 1. Deltakerbedriftene får en dårligere opplevelse av programmet for mange aktører å forholde seg til 2. Mye tid til går bort til koordinering Selv om organiseringen fungerer bra, er det noen punkter man bør være oppmerksomme på, jf. Figur 6.1. Disse punktene er primært knyttet til rekruttering av bedrifter og rekruttering av rådgiverkorpset. I tillegg tyder evalueringen på at Innovasjon Norges hovedkontor kan vri ressursbruken noe. 6.2 FRAMs insentivstruktur påvirker rekrutteringen av bedrifter Organiseringen av FRAM kan gi en viss risiko for at for mange bedrifter rekrutteres inn. Som figuren viser er dette en oppgave som er fordelt på mange aktører, og som da potensielt bidrar til koordineringskostnader. Evalueringen tyder for øvrig på at samarbeidet i forbindelse med rekrutteringen er positivt både fordi det bidrar til å nå flere bedrifter i målgruppen, og til å sikre at bedriftene man tilbyr FRAM faktisk er kvalifiserte til å delta. Således virker gevinstene å oppveie for kostnadene ved koordineringen. Imidlertid skal man være oppmerksom på insentivstrukturen i FRAM som følger av at det er så mange aktører involvert både offentlige og private, selv om evalueringen ikke tyder på utfordringer i noen særlig grad per i dag. Evalueringen tyder imidlertid på at organiseringen i hovedsak fungerer bra. Deltakerbedriftene forholder seg egentlig ikke til så mange aktører, men hovedsakelig til prosjektleder i forbindelse med fellessamlingene og rådgiver i forbindelse med rådgivningstimene. I noen tilfeller er dessuten dette samme person. Bedrifter er som nevnt primært rekruttert gjennom Innovasjon Norges system, og har således en kundeansvarlig der. Det er i hovedsak den samme kundeansvarlige som følger opp bedriften i etterkant av FRAM. EVALUERING AV FRAM DAMVAD.COM 65

66 FRAM-rådgivere har insentiv til å sikre inntjening FRAM-rådgiverne kompenseres etter hvor mange samlinger og prosjekter de gjennomfører. Rådgiverne er bedriftsrådgivere generelt også, på det private markedet, men gjennom å være sertifisert som FRAM-rådgiver får rådgiverne mer eller mindre faste oppdrag. Det er ikke satt noen øvre grense for antall bedrifter de kan rådgi fra sentralt hold. Intervjuene tyder imidlertid på at prosjektleder og rådgiverne selv setter grense på fire-fem bedrifter, for å sikre at tid til å følge dem opp skikkelig. Behovet rådgiveren har for å være FRAM-rådgiver vil avhenge av hvor mye rådgiverbedriften har å gjøre ellers. Som følge av at det å være FRAM-rådgiver gir en variabel inntekt til rådgiver etter aktivitetsnivå, er det et insentiv fra rådgivers side å være rådgiver for så mange bedrifter som mulig. Dette kan gi en uheldig implikasjon, nemlig at man forsøker å rekruttere så mange bedrifter som mulig, også bedrifter som vurderes utenfor målgruppen, i det at de hadde klart seg fint på egenhånd eller at ved de ikke er motiverte nok. Samtidig har vi sett at deltakerbedriftene gjerne kjøper konsulenttjenester i etterkant av FRAM-deltakelse, og kan således gi rådgiverbedriftene framtidig inntekt. Dette gir insentiver til å gjøre en god jobb i kvalifiseringsrunden. Dersom man rekrutterer umotiverte bedrifter er sannsynlighetene større for at de faller fra underveis. Evalueringen vår tyder på at det er svært få bedrifter som faller fra underveis. Evalueringen tyder dermed FIGUR 6.1 Oppmerksomhetspunkter i organisering av FRAM Kilde: DAMVAD 66 EVALUERING AV FRAM DAMVAD.COM

67 på at FRAM-apparatet klarer å rekruttere bedrifter som er motiverte nok. Prosjektledere har også insentiv til å sikre inntjening Prosjektledere har i stor grad samme insentivstruktur som rådgiverne. I de fleste prosjektene kan prosjektleder være rådgiver for noen bedrifter, i tillegg til å fylle prosjektlederrollen. Også her vil det derfor både være insentiver til å rekruttere så mange bedrifter som mulig, og samtidig være insentiver til å rekruttere de riktige bedriftene. Prosjektlederen har imidlertid i tillegg et insentiv til å sette seg opp som rådgiver for så mange bedrifter som mulig på bakgrunn av inntjeningsmuligheten. I det at prosjektleder er i en maktposisjon, og er den som beslutter hvilke rådgivere som brukes hvor, så er det muligheter for selv sette seg opp som rådgiver, i stedet for å la andre rådgivere slippe til. Dessuten er prosjektleder ofte ansatt i et bedrift rådgivningsfirma kollegaer som kan være sertifisert som rådgivere. Om prosjektleder sørger for at disse rådgiverne får være FRAM-rådgivere, sikres framtidige inntekter for selskapet. Imidlertid vil en rasjonell prosjektleder også være opptatt av at bedriften skal få den hjelpen som trengs. Med tanke på framtidig inntjening vil det ikke være hensiktsmessig å stille som rådgiver der de ikke har kompetansen. Evalueringen vår tyder på at bedrifter i liten grad bytter rådgivere underveis, hvilket indikerer at prosjektledere i stor grad gjør jobben sin hva gjelder matching av bedrift og rådgiver. Litt i underkant av 10 pst. av bedriftene byttet rådgiver underveis jf. Tabell 6.2. TABELL 6.2 Byttet du rådgiver underveis? Antall Prosent Ja % Nei % Totalt % Kilde: Spørreundersøkelsen Note: N = 287 Flere av årsakene til at rådgiver ble byttet kan ikke egentlig prosjektleder gjøre noe med. TABELL 6.3 Hvorfor byttet du rådgiver underveis Rådgiveren hadde ikke relevant kompetanse Rådgiveren fulgte oss ikke opp Rådgiveren måtte avslutte programmet av ulike årsaker Antall Prosent % % % Vi hadde dårlig kjemi % Annet (vennligst spesifiser) % Totalt % Kilde: Spørreundersøkelsen Note: N = 28 Insentivstrukturen tydeliggjør viktigheten av Innovasjon Norge som part i FRAM Insentivstrukturen illustrerer behovet for Innovasjon Norge på to måter. For det første er distriktskontorene sentrale i rekrutteringsfasen for å sikre at det er den riktige målgruppen som får tilbud om å delta. Evalueringen tyder på at det ikke nødvendigvis er EVALUERING AV FRAM DAMVAD.COM 67

68 slik at distriktskontoret er like involvert alle steder. DAMVAD vil imidlertid mene at Innovasjon Norges rolle er svært sentral og forhindrer at FRAM blir tilbud bedrifter som er utenfor målgruppen. De distriktskontorene som ble intervjuet i evalueringen var opptatt av at FRAM ikke skulle være helt og holdent konsulentdrevet, men at Innovasjon Norge skulle ha et tydelig eierskap. For det andre har Innovasjon Norges hovedkontor en viktig rolle i rekruttering av rådgivere og prosjektledere. De må så langt på vei som mulig sikre at rådgiverkorpset forstår implikasjonene av å være FRAM-rådgiver, og at de skal være Innovasjon Norges forlengede arm. Rådgiverkorpset må ha en bevissthet knyttet til at det gjennom FRAM brukes offentlige midler, og at man skal ha et markedssvikt perspektiv ikke kun perspektiv på egen inntjening. Rekruttering av rådgivere og prosjektledere er også svært viktig med tanke på at det særlig er rådgiverne som oppfattes som det viktigste elementet i FRAM-programmet av deltakerbedriftene. Enkelte respondenter har uttrykt at det hadde vært hensiktsmessig om prosjektledere var tettere involvert i rekruttering av rådgivere, og at disse prosessene derfor ikke bør gjennomføres samtidig. Vår oppfatning er at det er fornuftig at rekrutteringen av rådgivere gjøres av en nøytral part. Det bør ikke tilrettelegges for at prosjektledere eksempelvis kan rekruttere rådgivere i eget firma til å bli FRAM-rådgivere; det vil gjøre programmet mer konsulentstyrt enn det er i dag. Imidlertid kan det antakelig tilrettelegges for at prosjektledere i større grad gir råd til Innovasjon Norge om relevante kvalifikasjoner rådgivere bør ha. Rekruttering av bedrifter kan muligens effektiviseres Bedrifter til FRAM rekrutteres gjennom kundedatabasen til Innovasjon Norge. Gjennom dybdeintervjuene med distriktskontorene fikk vi imidlertid inntrykk av at kontorene sjelden har en systematisk inngang til hvordan de skal identifisere relevante bedrifter fra sin database. De begynner stort sett alltid litt på nytt når et prosjekt skal igangsettes. Dersom det tilrettelegges for at saksbehandlere på distriktskontorene kan avmerke bedrifter som har vært i kontakt med dem som en mulig FRAM-deltaker, ville rekrutteringsprosessen kunne effektiviseres- Behov for særlig selektiv rekruttering til FRAM Marked Et siste poeng når det gjelder rekrutteringsprosessen er at man særlig skal være bevisst på hvilke bedrifter man rekrutterer til FRAM Marked. Dette er et relativt kostbart program, med flere studieturer til det konkrete markedet. Enkelte intervjuobjekter har påpekt at bedriftene som får mulighet til å delta på dette kanskje bør gjennomgå en enda grundigere kvalifiseringsrunde, og at det er lite hensiktsmessig å bruke ressurser på bedrifter som egentlig ikke har noen sjanse til å slå igjennom i disse markedene. Dette fordrer at bedriftene som får tilbud om FRAM Marked må være hakket modnere enn bedrifter som får tilbud om FRAM Strategisk ledelse. 6.3 Samlingsmateriale krever stadig utvikling FRAM-programmet har eksistert i mange år, og har utviklet seg over tid. I begynnelsen var programmet mer ensrettet, og man kjørte alle bedrifter igjennom samme kursopplegg. Da programmet hadde en mer ensrettet form, hadde Innovasjon Norge en rolle i å utvikle materiale til fellessamlingene. Innovasjon Norge har fortsatt en rolle i å beslutte hvorvidt det skal være faglige moduler som er viktigere enn andre i FRAM. Bakgrunnen for disse beslutningene er annen kunnskapsinnhenting som Innovasjon Norge gjør over tid. Samtidig har FRAM over tid blitt mer fleksibelt med tanke på innhold og tilpasning. Rollen Innovasjon 68 EVALUERING AV FRAM DAMVAD.COM

69 Norge har hatt med å utvikle fellesmateriale blir således mindre og mindre viktig slik vi ser det. For det første er noe av begrunnelsen for å engasjere prosjektledere til å styre fellessamlingene at det er de som har spisskompetanse på bedriftsutvikling. Selv om Innovasjon Norge har oversikt over de store utfordringene for bedrifter i landet generelt sett, er det noe annet å skulle møte de konkrete utfordringene til de bedriftene som deltar i FRAM til enhver tid. Vi vil nok mene at man bør begrense mengden av obligatoriske emner i FRAM-programmet, og heller fortsette linja med fleksibilitet og tilpasning. Selv om det er noen ulemper ved en fleksibel inngang til FRAM-programmet, tror vi at fordelene veier opp for disse. Økt fleksibilitet og tilpasning vil bidra til at man kan nå ut til flere bedrifter i målgruppen. Det er lite effektivt om Innovasjon Norge parallelt med prosjektledere skal holde seg oppdatert på alt relevant faglig innhold en slik samling kan inneholde. Dette betyr ikke at det faglige innholdet ikke må oppdateres og utvikles, men det betyr at prosjektlederne bør ha en særlig rolle i dette arbeidet. Slik vi ser det bør Innovasjon Norge heller bruke sine ressurser til å tilrettelegge på systemsiden, og bruke tiden sin på å sørge for informasjonsdeling og spredning mellom prosjektledere og rådgivere. Innovasjon Norge gjør noe av dette i dag, bl.a. gjennom felles facebookside og dropbox-system, men vi mener at delingssystemer bør systematiseres og oppdateres ytterligere. FIGUR 6.4 Gitt at du vet det du vet i dag, ville du deltatt igjen? Kilde: Spørreundersøkelsen, Noe: N=270 EVALUERING AV FRAM DAMVAD.COM 69

70 6.4 Endringer i programmet i 2008 og i Evaluering for utvikling av programmet FRAM programmet hadde en endring i rekruttering av prosjektledere og rådgivere i Tidligere ble rådgivere og prosjektledere rekruttert internt, det vil si at eksisterende prosjektledere og rådgivere fant nye kandidater. I praksis førte dette til at det var en smal gruppe som ble rekruttert; hovedsakelig erfarne mannlige siviløkonomer eller sivilingeniører med bakgrunn som bedriftsledere. Fra 2008 ble det gjort en offentlig utlysning av FRAM-konsulenter og der ble det åpnet opp for også annen relevant utdanning. Erfaring med rådgivning, prosjektledelse og prosess ble vektlagt, i tillegg til personlig egnethet og samarbeidsevner. I praksis førte dette til en mer mangfoldig gruppe, med større aldersspenn og flere kvinnelige prosjektledere og rådgivere. Dette ble videreført videre i rekrutteringen i I FRAM Marked/Navigator ble det fra 2009 et sterkere fokus på erfaring med internasjonalisering. Det er relativt få respondenter i vår spørreundersøkelse som deltok før 2008, men disse er gjennomgående noe mer positive til rådgiverne og samlingene enn de som deltok i , men omtrent like positive enn de som deltok fra og med Dette gjenspeiles også i spørsmål om bedriftene ville deltatt igjen, gitt det de vet i dag, jf Figur 6.4. Forskjellen mellom de tre gruppene er minimale og kan skyldes ulik mengde svar og hvor lenge det er siden de deltok. Kun 26 respondenter deltok i 2007, 136 deltok i perioden 2008 til og med 2011 og 116 deltok i perioden 2012 til Vi tolker det som at endringene i programmet ikke har hatt store konsekvenser for bedriftene som har deltatt. FRAM-programmet er gjenstand for flere typer evalueringer. Deltakerbedriftene evaluerer hver samling de er med på, i tillegg til at de svarer på en sluttevaluering. Det er Innovasjon Norge som har laget maler og systemene for evalueringer. Prosjektlederne må tilpasse disse noe, slik at de samsvarer med faktisk opplegg. Formålet med underveisevalueringene er at prosjektleder får tilbakemelding på hva slags opplegg ved samlingene som fungerte bra og mindre bra. Således er dette et verktøy for å tilpasse samlingene underveis. Sluttevalueringene er det imidlertid vanskeligere å få grep om hensikten med. Både bedrifter og rådgiverkorpset har stilt spørsmål ved dette, og hovedkontoret selv har også indikert at materialet er for lite tilgjengelig til at det gir noen nytte selv for evaluatorer. Etter vår vurdering bør det gjøres en gjennomgang av hva som er nødvendig å evaluere på hvilke tidspunkt, for å forhindre unødig ressursbruk både av Innovasjon Norges hovedkontor, av rådgiverkorpset og av deltakerbedriftene som allerede svarer på svært mange undersøkelser. Underveisevalueringene ser ut til å tjene en svært nyttig funksjon, men sluttevalueringen kan man enten kutte ut eller forsøke å rendyrke til at den gir relevant informasjon. I anbefalingskapittelet kommer vi med noen konkrete forslag til hvordan evalueringssystemet kan utvikles for å gi mer nytteverdi og mindre rapportering. 70 EVALUERING AV FRAM DAMVAD.COM

71 6.6 Samfunnsøkonomisk vurdering av FRAM-programmet Det framgår av prosjektbeskrivelsen til Innovasjon Norge at det som del av evalueringen skal gjennomføres en samfunnsøkonomisk vurdering av tjenesten. Omfanget av en samfunnsøkonomisk analyse kan variere, avhengig av hvor mye ressurser man setter inn. Siden vi i dette prosjektet skal gjøre en samfunnsøkonomisk vurdering som del av svært mange andre oppgaveelementer, er analysen relativt forenklet og inneholder utelukkende de største kostnadskomponentene og gevinstene. Analysen er for øvrig basert på veilederen fra Finansdepartementet om gjennomføring av samfunnsøkonomiske analyser. Mer konkret er det gjort en nytte- kostnadsanalyse; dvs. en systematisk kartlegging av fordeler og ulemper ved et bestemt tiltak, jf. boks. Boks 6.5. Data til analysen er opplysninger fra Innovasjon Norges hovedkontor samt regnskapsanalysen jf. kapittel 5.8. Kostnadselementer i FRAM Slik vi ser det er de største kostnadene ved å gjennomføre FRAM fordelt på flere aktører: Innovasjon Norge hovedkontor Innovasjon Norge distriktskontor Rådgiverapparatet Bedriften selv Det kan tenkes flere samfunnskostnader utover disse, eksempelvis miljøkostnader som følge av transportering av bedrift til marked i forbindelse med studieturer, men disse er svært vanskelig å identifisere, og dessuten er disse kostnadene er marginale i forhold til kostnadene til Innovasjon Norge, rådgiverapparatet og bedriften selv. Tabell 6.6 viser kostnadene knyttet til hver enkelt aktør og hvordan kostnadene er beregnet per bedrift. Dette er gjennomsnittsbetraktninger, og kostnadene vil variere mye fra prosjekt til prosjekt. Jevnt over er FRAM-Marked mer kostbart, bl.a. på grunn av utenlandsturer og mer krevende rådgivning. Intervaller viser usikkerheten. Kostnader hovedkontoret På Innovasjon Norges hovedkontor arbeides det med å utvikle programmet og tilrettelegge for kunnskapsdeling på tvers av prosjektene. I tillegg har de BOKS 6.5 Samfunnsøkonomiske analyser At et tiltak er samfunnsøkonomisk lønnsomt innebærer at samfunnet som helhet er villig til å betale minst like mye som tiltaket koster. Det finnes i hovedsak tre typer samfunnsøkonomiske analyser: Nytte- kostnadsanalyse: En systematisk kartlegging av fordeler og ulemper ved et bestemt tiltak. Nyttevirkninger og kostnader verdsettes i kroner så langt det er faglig forsvarlig Kostnadseffektivitetsanalyser: En systematisk verdsetting av kostnader ved ulike alternative tiltak som kan nå samme mål. Kostnadene verdsettes i kroner og man søker å finne den rimeligste måten å nå et gitt mål Kostnads- virkningsanalyse: En kartlegging av kostnader for ulike tiltak som er rettet mot samme problem, men der effektene av tiltakene ikke er helt like. I slike tilfeller kan vi ikke uten videre velge tiltaket med lavest kostnader Kilde: Finansdepartementets veileder for samfunnsøkonomiske analyser EVALUERING AV FRAM DAMVAD.COM 71

72 en særskilt rolle når rekruttering av rådgiverapparatet gjennomføres. Kostnadene vil således variere fra år til år. Den beste indikasjonen vi har på kostnader fra hovedkontorets side er årsverk forbundet med å følge opp programmet. I henhold til Innovasjon Norge utgjør dett 1,2 årsverk i året i gjennomsnitt. Kostnader distriktskontoret På distriktskontorene er det også avsatt ressurser til å følge opp programmet. Her er det imidlertid ikke satt av en enkeltperson på heltid. Det er en person som er FRAM-koordinator og således har et større ansvar, og det er denne kostnaden som er den primære. Personen har imidlertid ikke FRAM-prosjekter som sin eneste oppgave, slik at gjennomsnittlig årsverk benyttet på FRAM utgjør ca. 0,3 i året per distriktskontor (5 årsverk totalt). Her er der også viktig å påpeke at dette gjelder for de fylkeskommunene der distriktskontoret følger opp FRAM. Det er ikke slik i alle fylker. betale reise og opphold i forbindelse med deltakelse i FRAM, i tillegg til deltakeravgift. Denne vil også variere med utgangspunkt i hvor mange samlinger bedriften faktisk deltar på og hvor reisen går. I de fleste FRAM prosjektene er det minimum en utenlandsreise. I FRAM Marked er flere reiser til markedet. Den største kostnaden til bedriften er imidlertid tiden som avsettes til å følge opp FRAM-prosessen. Dette er tid som alternativt kunne vært brukt for å skaffe bedriften inntjening på ulike måter. Kostnader rådgiverkorpset Prosjektleder får i ansvar for å følge et budsjett som er avsatt til FRAM. Dette budsjettet inneholder flere kostnadskomponenter: Honorar til prosjektleder Honorar til rådgivere Div. kostander i forbindelse med samlingene og andre mindre kostnader Hvor mye midler som er avsatt til et FRAM-prosjekt avhenger av om det er FRAM Strategisk ledelse, FRAM Marked eller FRAM Innovasjon, men budsjettet utgjør mellom 1 mill. kroner og 2,5 mill. kroner. Kostnader bedrift Bedrifter må betale egenandel for å delta på FRAM. Denne varierer mellom og Her kan de ulike distriktskontorene gjøre vurderingen, så variasjonene kan være store. Bedriftene må i tillegg 72 EVALUERING AV FRAM DAMVAD.COM

73 TABELL 6.6 Beregning av samfunnsøkonomiske kostnader Indikator Beregning Kostnad per bedrift (min.) Innovasjon Norge hovedkontor Innovasjon Norge distriktskontor Årsverk Årsverk 1,2 årsverk, fordelt på i snitt 188 bedrifter i året. Et årsverk utgjør omtrent kroner, i tillegg kommer sosiale kostnader på 30 pst. og påslag som følge av kostnader forbundet med skatteinnkreving siden dette er offentlige utgifter (20 pst). 5 årsverk, fordelt på ca. 118 bedrifter i året. Kostnad per bedrift (maks.) Rådgiverapparatet Bedrift Budsjett Egenandel Mellom 1 mill. kroner og 2,5 mill. kroner per prosjekt. I tidsperioden har det vært i snitt 19 prosjekter i året og i snitt 188 bedrifter i året. Sosiale kostnader tilkommer ikke siden dette er prosjektkostnader. Imidlertid tilkommer påslag som følge av offentlige midler. Mellom ca og kroner i egenandel Bedrift Reise og opphold Reise og opphold er stipulert til mellom og kroner Bedrift Egen tid Mellom 40 til 120 rådgivningstimer, i tillegg til fire til seks samlinger over to da- ger à 8 timer + eget arbeid. Anslår mellom 150 og 250 timer (avhengig av egen innsats) Gjennomsnittlig årslønn er jf. det tekniske beregningsutvalget. Sosiale kostnader utgjør 30 pst. Et årsverk utgjør 1750 timer, slik at timeprisen er ca. 410 kroner, inkludert sosiale kostnader. Totalt Kilde: DAMVAD EVALUERING AV FRAM DAMVAD.COM 73

74 Er FRAM samfunnsøkonomisk lønnsomt? På bakgrunn av markedssviktdiskusjonen i kapittel 4.2, framkommer det at svikten primært er knyttet til at bedriftene står overfor en situasjon med asymmetrisk informasjon. Bedriftene har et behov for kunnskapsøkning og atferdsendringer for å kunne drive mer lønnsomt, men de forstår ikke nødvendigvis hva slags behov de har. Det synes ikke å være særlig grad av eksternaliteter i form av kunnskapslekkasjer, som medvirkende årsak til underinvesteringen i kompetanse. Dette leder til konklusjonen om at gevinsten man leter etter ved FRAM i hovedsak økt lønnsomhet eller lønnsevne (verdiskaping) i bedriftene som har deltatt. Gjennomgangen av regnskapsstatistikken indikerer for øvrig at det er vanskelig å spore konkrete effekter av FRAM-programmet. Bedriftene som har deltatt i FRAM utvikler seg i takt med bedrifter som ikke har deltatt i FRAM og som FRAM-bedriften kan sammenlikne seg med. Vi kan derfor ikke dokumentere at FRAM bidrar til økt lønnsomhet. Resultatene av effektundersøkelsen er i tråd med det vi har funnet i spørreundersøkelsen om økonomiske resultater. Det er kun 20 pst. av de deltakende bedriftene som mener at programmet i stor grad har bidratt til økt lønnsomhet. Et annet forbehold er knyttet til at det vi er usikre på hvor lang tid det tar før økonomiske resultater av FRAM synes i regnskapet. Med utgangspunkt i at datamaterialet har sine begrensninger, skal resultatene tolkes med forsiktighet. Et siste viktig punkt er at man alltid vil kunne stille spørsmål om det er noen nytteeffekter eller gevinster av FRAM i tillegg til bedriftsøkonomisk lønnsomhet. Eksempelvis det at bedriftsledere får økt kunnskap kan være en nytte i seg selv, særlig i et livslangt læringsperspektiv. Mulig kunnskapen den enkelte bedriftseier har tilegnet seg kommer til nytte i en annen bedrift på et senere tidspunkt. Denne typen nytte har vi ikke kvantifisert, for det må en grundigere analyse til for å kunne gjøre slike vurderinger. Selv om kostnadene ved FRAM, per bedrift, ikke nødvendigvis er spesielt høye, indikerer disse resultatene at FRAM har lav samfunnsøkonomisk nytte. Det må knyttes en del forbehold til denne konklusjonen. Et forbehold er at det å gjøre en kontrafaktisk vurdering av et offentlig virkemiddel byr på svært mange usikkerheter. Selv om vi i bruk av metoden propensity score matching forsøker å kontrollere for disse, står vi fortsatt overfor den situasjonen at vi ikke vet med sikkerhet hva som ville skjedd med bedriftene uten FRAM. 74 EVALUERING AV FRAM DAMVAD.COM

75 7 Oppsummering og anbefalinger 7.1 Oppsummering Evalueringen tyder på at bedriftene som deltar i FRAM styrker sin kompetanse på områder som er relevante for dem. Hovedfunnet fra evalueringen er at FRAM i stor grad bidrar til økt kunnskap, primært innenfor profesjonalisering, i noe mindre grad (men i økende grad) innen markedsorientering og i enda mindre (men i økende grad) innen innovasjon. Kunnskapen leder i stor grad til atferdsendringer, særlig innen profesjonalisering, men i relativt liten grad til konkrete resultater og effekter. Bedriftene som har deltatt opplever selv stor nytteverdi, men det er vanskelig å spore konkrete effekter av programmet på i regnskapsstatistikk. Med andre ord er sammenhengen mellom deltakelse og kompetansebygging sterk, men sammenhengen mellom kompetanse og resultater er noe svakere. I beskrivelser av FRAM framkommer det at programmet har tre bein; samlinger, rådgivning og nettverk. Evalueringen tyder på at nettverket er mindre relevant for deltakerne. Deltakerne opplever at det er positivt å møte andre bedrifter på samlinger, for å utveksle erfaringer, men programmet er ikke et nettverksprogram på den måten at bedriftene i etterkant av deltakelse på FRAM videreutvikler nettverk med de andre deltakerne. Vi finner det mer nærliggende å beskrive de tre beina som: faglig påfyll, erfaringsutveksling og individuell rådgivning. Å vektlegge «nettverk» blir etter vår mening uheldig, fordi programmet ikke er innrettet mot å tilrettelegge for økt nettverkssamarbeid, som eksempelvis ARENA-programmet og bedriftsnettverk. En tydeligere begrepsbruk vil bidra til å lettere forstå forskjeller mellom nettverksprogram og program som dette som primært omhandler den enkelte bedriften. Økt fleksibilitet i FRAM-programmet bidrar til at rekruttering er vanskeligere, siden målgruppen blir større og mer heterogen. Vi mener imidlertid at det uansett er gode argumenter for å beholde fleksibiliteten. En av begrunnelsene er at man da når ut til flere. Dessuten er det flere tilbydere av «ferdige» kompetansepakker på det private markedet som det er unødvendig at en offentlig virkemiddelaktør konkurrerer med. Avslutningsvis kan vi trekke fram at evalueringssystemet for FRAM er svært omfattende og likevel lite tilgjengelig for eksterne. Vi har derfor noen konkrete anbefalinger til hvordan evaluering kan gjennomføres slik at neste evaluering av FRAM blir mer fruktbar. 7.2 Anbefalinger 1. Omtal de tre beina i FRAM som faglig påfyll, individuell bedriftsrådgivning og erfaringsutveksling. FRAM er ikke et nettverksprogram, og en for sterk vektlegging av dette kan gi feil assosiasjoner til hva FRAM er og hva det skal bidra med. Nettverk er i beste fall en bieffekt av erfaringsutveksling. 2. Krev trepartsamarbeid i rekrutteringsfasen av bedrifter. Distriktskontoret må være involvert. Distriktskontoret er sentrale for å sikre kvalifisering av bedriftene som skal delta. FRAM-programmet skal balansere hårfint og identifisere bedrifter som har et behov for kompetanse for å drive mer lønnsomt, men som ikke helt vet hva slags behov de har. I forbindelse med rekruttering av bedrifter kan man også undersøke om det kan gjøres noen grep for å raskere identifisere en aktuell målgruppe for FRAM. Eksempelvis kan saksbehandlere i Innovasjon Norge merke av potensielle FRAM deltakere blant bedriftene de har ansvar for. Det er også mulig det bør gjøres noen grundigere vurderinger knyttet til EVALUERING AV FRAM DAMVAD.COM 75

76 kvalifikasjonene til bedrifter som får anledning til å delta på FRAM Marked. 3. Behold fleksibiliteten i FRAM. Selv om det er noen ulemper ved en fleksibel inngang til FRAM-programmet, tror vi at fordelene veier opp for disse. Den største fordelen med fleksibilitet er at man når ut til flere bedrifter med en slik innretning. I den grad man skal opprettholde noen faste moduler, kan man vurdere en bredere inngang til markedsorientering og sikre at denne også ivaretar konkurrentanalyse. 4. Hovedkontoret bør vri ressursbruken over på systemer for informasjonsdeling mellom de innleide konsulentene, framfor å holde seg faglig oppdatert. Som en følge av økt fleksibilitet i FRAM når det gjelder faglig innhold vil det være svært tidskrevende for hovedkontoret å skulle holde seg oppdatert og utvikle fagstoff til samlingene. Dette arbeidet burde kunne overføres til prosjektledere, og så kunne Innovasjon Norge i større grad tilrettelegge for erfaringsutveksling mellom prosjektledere. Bedriftene kan bes om å gjennomføre en kort evaluering av undervisningsformene og kvaliteten på formidlingen etter hver samling, Etter gjennomføring av FRAM kan bedriftene svare på de samme spørsmålene om kunnskapsnivå innen konkrete temaer på denne måten får Innovasjon Norge en før og etter evaluering som vil gi informasjon om FRAM har vært godt nok tilpasset den enkelte bedrift. Denne informasjonen bør så samles på ett sted slik at framtidige evaluatorer får enkel tilgang til informasjonen. Etter FRAM kan bedriftene også svare på spørsmål knyttet til hvor gode rådgiverne og prosjektlederne har vært, slik at IN får innspill til kvaliteter som er viktige, slik at de i neste omgang får rekruttert «riktige» rådgivere og prosjektledere. Prosjektledere bør også få lov til å evaluere rådgivere, og rådgivere bør få lov til å evaluere prosjektledere. 5. Innhent data om FRAM-programmet mer systematisk, og tilrettelegg i større grad for at dataen er tilgjengelig for evaluatorer. Se også avsnitt Forslag til evalueringssystem Situasjonsanalysen gir innblikk i hva slags kompetansepåfyll bedriften trenger. Dette gir kunnskap om hva slags faglig innhold som bør gjennomgås på samlinger. I denne forbindelse kan bedriftene også evt. svare på spørsmål om kunnskapsnivå innen konkrete temaer. 76 EVALUERING AV FRAM DAMVAD.COM

77 Referanser Kotler, P, Gary Armstrong, Veronica Wong, John Saunders (2008): Principles of Marketing. Fifth edition, Pearson Education Limited Bolkesjø m.fl.(2005): Evaluering av FRAM og ivel Telemarksforskning-Bø. Arbeidsrapport nr Kirkpatrick, D.l. (2006): Evaluating Training Programs (3 rd ed). San Fransisco. CA: Berrett-Koehler publishers Heum (2012): Hvordan vurdere godheten i næringspolitiske virkemidler? SNF. Arbeidsnotat 03/12. EVALUERING AV FRAM DAMVAD.COM 77

78 Vedlegg 1 Kompetanseområder i FRAM Kompetanseområder i FRAM-programmet BS Fagområder Skjema Annet materiell Først BS 1 BS 2 BS 3 BS 4 BS 5 BS 6 Valgfritt 1. Osterwalder 2. Situasjonsanalysen 1. Innledning diverse 2. Deltakerne presenterer seg 3. FRAM presentasjon 4. Ledelse og endringsprosesser 5. Nøkkelressurser 6. Verdikjeder 7. Marked, behov og produkter 8. Innovasjon, introduksjon til innovasjonsprosjekt 9. Veivalgsanalyse 10. Forretningsplan 1. Økonomi og økonomistyring 2. Innovasjon 3. Markedsorientering, merkevarebygging og design 4. Egen organisering 1. Styrefunksjon 2. Vurdere mennesker 3. Adferd 4. Markedsplanlegging 5. Valgfrie tema 1. Leder og organisasjonsutvikling 2. Delegering og målstyring 3. Salg 4. Valgfrie tema 1. Internasjonalisering 2. Kompetanseutvikling 3. Valgfrie tema 1. Bedriftenes samfunnsansvar 2. Sluttrapportering 3. Suksessbedrifter 4. FRAM framover (Forsterk, forny forkast) 5. Valgfrie tema Ansettelser Immaterielle rettigheter Røde og grønne kroner? Nettverk Organisering av egen arbeidsdag Organisasjon og selskapsformer Prospekt Praktisk økonomi Hvordan skape vekst Samarbeid og nettverk Sosiale media Økonomi og økonomistyring Vertskapsrollen Innovasjon Norges produkter og tjenester Innovasjonsdukene med film Kreativitet Osterwalderskjema Situasjonsanalyseskjema Forretningsplan Handlingsplan Kjøpekriterier Styrefunksjon Markedsføringssammendrag Markedsplan Ansvarsmatrise Kompetansekartlegging Samfunnsansvar Innovasjonsfilm Innovasjons-duker Innovasjonsfilm Film: den rotete sjefen Innovasjons-duker CSRspill Film: røde og grønne kroner Dialogbilder Samspill 78 EVALUERING AV FRAM DAMVAD.COM

79 Vedlegg 2 Propensity Score Matching metode Formålet med propensity score matching er å analysere effektene av deltakelse i FRAM-programmet. Optimalt ville dette blitt gjort ved å måle utfallet (f.eks. omsetning) etter deltagelse, og sammenlignet dette med det utfallet vi hadde observert dersom virksomheten ikke hadde deltatt i FRAM-programmet. Dette er naturligvis ikke mulig, da virksomheten enten deltar eller ikke deltar. For å få et bilde av den kontrafaktiske situasjonen må vi derfor benytte andre metoder. Vi har i denne evalueringen benyttet oss av økonometriske metoder som både brukes i akademisk forskning, og som trekkes fram av internasjonale organisasjoner som «best practice» når det er snakk om effektmåling av offentlige intervensjoner. 18 For å kunne estimere effekten (verdien) av å delta i FRAM-programmet har vi gjennomført følgende: 1. Estimert en «propensity score»: Finn sannsynligheten for at en virksomhet deltar i FRAM-programmet, gitt en rekke observerbare faktorer 2. «Propensity score matching»: Isolere effekten av deltagelse, og dermed konstruere det kontrafaktiske utfallet, ved å definere en kontrollgruppe 3. «Difference-in-differences-analyse»: Estimere effekten av deltagelse ved å se på forskjellen i utfallet for de to gruppene (deltagende og ikke-deltagende (kontrollgruppen) foretak) Kontrollgruppen består av virksomheter som ikke har deltatt i FRAM-programmet, men som har tilsvarende karakteristika som de virksomhetene som har deltatt. Ved å sammenligne de deltagende virksomhetene med kontrollgruppen vil dermed eventuelle forskjeller mellom de to gruppene, etter deltagelse, kunne tilskrives selve deltagelsen. Denne framgangsmåten har flere fordeler. For det første tillater den å inkludere både virksomheter som faktisk har deltatt i FRAM-programmet og virksomheter som ikke har deltatt. Med en «vanlig» regresjonstilnærming må man anta at de ikke-deltagende virksomhetene har de samme karakteristika som de deltagende virksomhetene i tolkningen av resultatene. Alternativt må man utelukke de som ikke har deltatt i FRAM-programmet, eller ved hjelp av instrumentvariable (IV-estimering) 19 utelukke forskjeller som kan forklarer avgjørelsen om å delta i et program, og kjennetegn ved virksomheten som påvirker dens økonomiske utvikling. Den andre fordelen med å konstruere et eksperiment med en kontrafaktisk situasjon er at denne metoden tar høyde for potensiell forventningsskjevhet. Det vil si, det tas høyde for at sannsynligheten for deltagelse er høyere blant noen virksomheter enn andre, noe som forårsaker endogenitet i regresjonsmodellen. Sammenligningen av de virksomhetene som har deltatt i FRAM-programmet med andre virksomheter i samme næring (se avsnitt 5.8) viser at virksomhetene som har deltatt i FRAM-programmet i snitt er relativt like de som ikke har deltatt med tanke på verdiskaping. Det vil derimot være andre faktorer som kan bestemme hvorvidt en virksomhet deltar i FRAM-programmet eller ikke, for eksempel om virksomheten har deltatt i andre programmer i regi av Innovasjon Norge eller i det øvrige 18 Se bl.a. OECD (2006), Eurostat (2002), Gertler et.al (2011) og Fernandez-Ribas & Shapira (2009) 19 Estimering med instrumentvariable gir en alternativ måte å konstruere den kontrafaktiske situasjonen på, men denne metoden reduserer presisjonen på estimatene og skaper usikkerhet når tilnærmingens antakelser ikke lar seg teste (Bounds, 2004) EVALUERING AV FRAM DAMVAD.COM 79

80 virkemiddelapparatet, eller om personer i virksomheten kjenner til rådgivere eller prosjektledere i FRAM-systemet. og ikke-deltager samtidig, må det kontrafaktiske utfallet konstrueres ved å finne en virksomhet som ligner på de deltagende virksomhetene, men som ikke har deltatt i FRAM-programmet. En tredje fordel er at metoden tillater oss å undersøke kausaliteten (se Rosenbaum og Rubin 1983). Metoden gir en mulighet for å analysere utviklingen før og etter at en hendelse har inntruffet. Dette gjør det mulig å sammenligne virksomheter før og etter deres første deltagelse i FRAM-programmet, og på denne måten få en oversikt over hvordan deltagelse i FRAM-programmet påvirker utviklingen i verdiskapingen. Figur 1 illustrerer tanken bak konstruksjon av det kontrafaktiske utfallet: Kontrollgruppens utvikling etter deltagelse illustrerer den utviklingen vi ville observert for foretakene som har deltatt i FRAM-programmet dersom de ikke hadde deltatt. FIGUR 1 Illustrasjon av metoden for effektmålingen Gitt at to (eller flere) virksomheter ligner på hverandre med tanke på observerbare variable vil den estimerte sannsynligheten propensity scoren for deltagelse være svært lik for disse virksomhetene. Vi har i denne evalueringen estimert sannsynligheten for å delta i FRAM-programmet ved hjelp av en probitmodell. Det kreves et visst antall observasjoner for å sikre at analysen produserer solide og gyldige resultater (Shadish et al. 2002). Dette er en potensiell ulempe med denne metoden. Man må også stille seg spørsmålet om spesifiseringen av den kontrafaktiske situasjonen tar høyde for alle uobserverbare forskjeller. Faktorer som kan forklare beslutningen om å delta i FRAM-programmet, men som ikke kan observeres, kan per definisjon ikke inkluderes i spesifiseringen. Kilde: DAMVAD 2014 t = -1 t = 0 t = 1 t = 2 Deltagere År etter deltagelse Kontrollgruppe A. Estimere en «propensity score» Gjennomsnittlig effekt Det krever forsiktighet i spesifikasjonen av modellen for å taklet disse utfordringene. Data må være av svært god kvalitet, og fortrinnsvis basert på offisielle datakilder, fremfor data innhentet av den som utfører forskningen (evalueringen). Dette er for å unngå skjevhet i de grunnleggende dataene. For å imøtekomme disse bekymringene har vi i denne evalueringen benyttet data fra Enhetsregisteret (som er en del av Brønnøysundsregistrene, som samler inn lovpålagt informasjon fra regnskapspliktige virksomheter registrert i Norge), kombinert med data fra Innovasjon Norge. Begge datakildene inneholder data på virksomhetsnivå. Siden en virksomhet ikke kan være både deltager Fordelen med en analyse på virksomhetsnivå er at den gjør oss i stand til å kontrollere for flere forklarende faktorer, som potensielt har innvirkning både på sannsynligheten for å delta i FRAM-programmet, 80 EVALUERING AV FRAM DAMVAD.COM

81 så vel som endringer i effektvariabelen (den variabelen en ønsker å måle effekten av deltagelse på). Egenskaper som kan forventes delvis å forklare virksomhetenes beslutning om å delta i FRAM-programmet er størrelsen på virksomheten, dens lønnsomhet og finansielle situasjon, næring, geografi og alder. En oversikt over hvilke variabler som er brukt for å estimere sannsynligheten for deltagelse kan ses i tabell 2. B. Propensity Score Matching Etter at sannsynligheten for deltagelse (propensity scoren) er estimert har vi benyttet «propensity score matching (PSM)» for å konstruere den kontrafaktiske situasjonen. Dette innebærer at enheter (virksomheter) som har fått en behandling (deltatt i FRAM-programmet) kobles med en enhet i kontrollgruppen med tilsvarende estimerte sannsynlighet. Alle enheter som ikke finner en match blir forkastet (Rubin 2001). Denne metoden ble først introdusert av Rosenbaum og Rubin i 1983 (Rosenbaum og Rubin 1983). Deretter har metoden blitt utviklet videre av blant andre Heckman (Heckman 1997). Heckman fokuserer på seleksjonsskjevhet og kausalitet i ikke-tilfeldige og ikke-eksperimentelle tilfeller. Propensity Score Matching adresserer begge disse utfordringene (Dehejia og Wahba 2002). Selve koblingen av de behandlede enhetene, med en enhet med tilsvarende sannsynlighet, kan gjøres på flere måter. I denne evalueringen har vi koblet de deltagende virksomhetene med de fem nærmeste 20 Det finnes en rekke andre måter å koble enhetene på. For hver tilnærming vil det være en avveining mellom forventningsskjevhet og modellens naboene (nearest neighbor matching). 20 Metoden hvor de behandlede enhetene sammenlignes med nærmeste nabo innebærer å minimere den absolutte differansen mellom de estimerte sannsynlighetene for deltagerne og ikke-deltagerne. Når vi har sammenlignet hver enkelt deltager med den nærmeste naboene, betyr dette at vi har funnet den virksomheten med likest estimert sannsynlighet. På denne måten etableres en kontrollgruppe som i gjennomsnitt er lik gruppen med deltagere. Basert på tilgjengelig data har vi valgt å koble én-tilén, hvor vi i teorien vil finne en kontrollgruppe med like mange virksomheter som det er deltagere. Vi har derimot ikke forutsatt at en virksomhet kun kan benyttes som kontrollvirksomhet én gang, slik at noen av de ikke-deltagende virksomhetene kan være nærmeste nabo til flere av deltagerne. Kontrollgruppen kan dermed potensielt bli mindre enn deltagermassen. For å finne kontrollgruppen har vi pålagt at disse virksomhetenes estimerte sannsynlighet skal være overlappende med den estimerte sannsynligheten til deltagerne de kobles til. Denne forutsetningen er kjent som «common support». I praksis innebærer dette at deltagere som har fått en estimert sannsynlighet for deltagelse som er høyere enn maksimumet eller lavere enn minimumet til den estimerte sannsynligheten blant ikke-deltagerne slettes. Videre antar vi at forskjellen mellom de som velger å delta i FRAM-programmet og de som ikke deltar fanges opp av observerbare faktorer. Denne forutsetningen er kjent som «Conditional Independence Assumption» (CIA). Antagelsen antyder at seleksjon (beslutningen om å delta) kun er basert på obeffektivitet. For en oversikt over ulike tilnærminger og deres fordeler og ulemper, se Caliendo og Kopeinig (2008) EVALUERING AV FRAM DAMVAD.COM 81

82 serverbare faktorer og at alle de faktorene som påvirker beslutningen, og mulige utfall, observeres samtidig. Dette er en streng antagelse, og utelukker tilstedeværelse av ikke-observerbare egenskaper som påvirker beslutningen om å delta i FRAM-programmet. Den siste antagelsen i denne evalueringen er antakelsen om «Stable Unit Treatment Value Assumption» (SUTVA). Dermed utelukker vi at én virksomhets deltagelse i FRAM-programmet påvirker effektvariable i virksomheter som ikke har deltatt. Det er rimelig å anta at det er ingen, eller minimal, «spill over» på lønnsomhet, verdiskaping eller andre økonomiske faktorer fra de deltagende virksomhetene til de virksomhetene som ikke har deltatt, tatt tidsrammen for evalueringen i betraktning. Tidsperspektivet er en viktig faktor når vi skal måle effekten av å delta i FRAM-programmet. Utviklingen i verdiskaping må måles både før og etter deltagelse for å kunne konkludere at effekten skyldes prosjektdeltagelsen. Det må også tas høyde for at effekten kan variere over tid. Derfor analyseres effekten av deltagelse på bakgrunn av paneldata, hvor de to gruppene (deltagerne og kontrollgruppen) sammenlignes over samme tidsperiode. For å oppnå et bedre datagrunnlag, og dermed et mer solid grunnlag for effektmålingen, slås årene for deltagelse sammen. Dette betyr at for hver enkelt deltager normaliseres oppstartsåret (for prosjektet) til år t. Dermed blir det mulig å analysere effekten av å ha deltatt i FRAM-programmet i år t+1, t+2, t+3 osv. For en virksomhet som deltok i FRAM-programmet første gang i 2007 fastsettes år t dermed til Normalisering av oppstartsåret gjør det mulig å analysere effekten av deltagelse på tvers av årstall. Virksomhetene matches for hvert år for å sikre at kontrollgruppen ligner gruppen av deltagere det året (og året før) de deltar i FRAM-programmet. På denne måten sikrer vi at tidsseriene er sammenlignbare, og det blir mulig å normalisere hver periode for kontrollvirksomhetene på samme måte som for deltagerne. Etter at matchingen er gjennomført utføres en enkel test for å analysere kvaliteten på kontrollgruppen. Mer presist undersøker vi om deltagergruppen og kontrollgruppen er i balanse med tanke på hver enkelt kontrollvariabel som ble benyttet i estimeringen av sannsynligheten for å delta (propensity scoren). Tabell 2 presenterer balanseringen av hver enkelt kontrollvariabel før og etter gjennomføringen av matchingen. De to kolonnene til venstre viser gjennomsnittet for hver variabel i de to gruppene før matching. Gjennomsnittene er beregnet for året før deltagelse. Vi finner en statistisk signifikant forskjell for de aller fleste dummyvariablene (på 1 pst. signifikansnivå) mellom de to gruppene. Det er derimot kun antall ansatte som er statistisk forskjellig av de øvrige kontrollvariablene. Det er ikke et mål i seg selv at de to gruppene er ulike før deltagelse, da målet er at de to gruppene skal være så like som mulig etter matchingen. Siden vi kun har oversikt over regnskapspliktige virksomheter i Enhetsregisteret, finner vi ikke igjen alle FRAM-deltagere. Det er videre grunn til å tro at det hovedsakelig er små virksomheter innen spesielt jordbruk vi ikke finner regnskapstall på. Dette innebærer at det faktiske gjennomsnittet for antall ansatte i deltagergruppen er noe lavere enn det er i 21 For foretak som har deltatt i flere prosjekter er det første året de deltok satt til år t. 82 EVALUERING AV FRAM DAMVAD.COM

83 den delen av populasjonen som inngår i matchingen. Kolonnene til høyere viser at de signifikante forskjellene mellom gruppene forsvinner etter at kontrollgruppen er etablert, både for gruppene samlet sett og for kontrollvariablene individuelt. Følgelig har matchingen resultert i en passende kontrollgruppe, som er i stand til å simulere den kontrafaktiske situasjonen. C. Estimere effekten av deltagelse Når en valid kontrollgruppe er etablert, og dermed den kontrafaktiske situasjonen, kan effektmålingen gjennomføres. Dette gjøres ved hjelp av en difference-in-differences-analyse. 22 En difference-in-differences-modell benyttes for å estimere og avsløre om deltagende og ikke-deltagende virksomheter har ulik utvikling før og etter deltagelse. Da deltagelse i FRAM-programmet er det eneste som skiller de to gruppene, er de forventet å ha samme utvikling før deltagelse. Eventuelle forskjeller i perioden etter deltagelse kan derfor tilskrives deltagelse i FRAM-programmet. Difference-in-differences-estimatoren er gitt ved: δ = (Y D 1 Y D 1 ) (Y K 1 Y K 1 ) i hvor er effekten av deltagelse og Y t angir verdien til Y i periode t for gruppe i, hvor i indikerer deltagerstatus (deltager eller kontrollgruppe). Effekten er beregnet som forskjellen i utviklingen før og etter deltagelse mellom deltager- og kontrollgruppen. Periode -1 angir året før deltagelse, mens periode 1 er året etter deltagelse i FRAM-programmet. 22 Se f.eks. Heckman (1997), Lechner (2001) eller Bandick og Karpaty (2007) for bruken av difference-in-differences. EVALUERING AV FRAM DAMVAD.COM 83

84 Næring 3) Bygg- og anlegg (Gruppe 2) **0,07 0,13 0,07 0,07 TABELL 2 Sammenligning av deltager- og kontrollgruppe før og etter matching, året før deltagelse Før matching Etter matching Gjennomsnitt Gjennomsnitt Deltagergruppe Kontrollgruppe Deltagergruppe Kontrollgruppe Antall ansatte 1) 2) 18,98 16,169 18,98 17,25 Verdiskaping (mill. kroner) 1) 11,29 13,74 11,29 9,34 Omsetning (mill. kroner) 1) 29,21 45,48 29,21 35,89 Gjeldsgrad (pst.) 1,52 4,48 1,52 1,66 Faglig og teknisk tjenesteyting (Gruppe 3) 0,13 0,14 0,13 0,12 Forretningsmessig tjenesteyting (Gruppe 4) 0,06 0,04 0,06 0,07 Industri (Gruppe 5) **0,27 0,17 0,27 0,26 Informasjon og kommunikasjon (Gruppe 6) **0,08 0,05 0,08 0,1 Jordbruk, skogbruk, jakt og fiske (Gruppe 7) **0,04 0,01 0,04 0,03 Overnatting og servering (Gruppe 8) **0,12 0,04 0,12 0,14 Varehandel og transport (Gruppe 9) **0,14 0,30 0,14 0,15 Alder 4) **0,66 0,28 0,66 0,63 Geografi 5) **0,65 0,53 0,65 0,61 N H0: Deltager- og kontrollgruppen er lik på alle variablene F=34,6756** F=1,1954 Kilde: DAMVAD 2014 Note: Kontrollgruppen kan variere noe avhengig av spesifiseringen av modellen. Dette skyldes at det kan mangle data for noen observasjoner, som dermed blir utelatt hvis observasjonen er nødvendig for analysen. Forskjellen i gjennomsnittene er signifikante på *5 pst. eller **1 pst. signifikansnivå. 1) Log-transformering av disse variablene er benyttet i selve estimeringen av propensity scoren 2) I tillegg til ln(ansatte) er ln(ansatte) 2 benyttet i estimeringen av propensity scoren 3) Gjennomsnittsverdien for disse dummy-variablene kan tolkes som andelen virksomheter i hver næring i de to gruppene, f.eks. tilhører 27 pst. avframdeltagerne (som benyttes i analysen) industrinæringer. Næringsgruppen «Annet» (Gruppe 1), utelates fra estimeringen på grunn av kolinearitet. 4) Dummyvariabel for om virksomheten er yngre enn 11 år (maks 10 år) 5) Dummy for om virksomheten befinner seg innenfor det distriktspolitiske virkeområdet 84 EVALUERING AV FRAM DAMVAD.COM

85 D. Etablere data Den økonometriske analysen er basert på Enhetsregisteret koblet med Innovasjon Norges deltakerlister for FRAM-programmet. Enhetsregisteret dekker årene , mens deltakerlistene for FRAM-programmet dekker perioden Det eksisterer mangelfulle registreringer i Enhetsregisteret, noe som er én av flere årsaker til at antall observasjoner varierer fra år til år, og vi får hva vi kaller et «ubalansert» paneldatasett. Tallgrunnlaget for figuren som viser effektmålingen av verdiskaping i kapittel Feil! Fant ikke referansekilden. ble justert for ekstremobservasjoner etter at matchingen var gjennomført. Dette for å justere for at enkeltvirksomheter påvirket utviklingen i stor grad på grunn av relativt få observasjoner. Virksomheter som ikke opptrer minimum ett år før og ett år etter deltagelse droppes fra datasettet, da disse virksomhetene ikke vil ha forklaringskraft i effektevalueringen. Dette medfører at deltagerne i FRAM-programmet for de to siste årgangene 2012 og 2013 ikke inkluderes i effektmålingen. Kravet til observasjoner før og etter deltagelse sammen med at ikke alle deltagerne er regnskapspliktige reduserer antall deltagere i den økonometriske analysen til 384. Veldig store endringer i en variabel fra ett år til annet kan indikere sammenslåing eller deling av en virksomhet. Et annet alternativ kan være feilregistreringer eller feiltastinger. Slike ekstremobservasjoner («outliers») kan ha en uforholdsmessig stor innvirkning på resultatene. For å unngå denne typen problemer har vi forsøk å fjerne ekstremobservasjoner både før og etter matchingen. Sletting av ekstremobservasjoner 23 med bakgrunn i fordelingen av verdiskaping medførte en kraftig reduksjon i antall observasjoner og ingen forbedring i matchingen. 23 Sletting av observasjoner mindre enn det 10. persentil, eller større enn det 90. persentil av fordelingen av de aktuelle variablene EVALUERING AV FRAM DAMVAD.COM 85

86 Vedlegg 3 Oversikt over FRAM-deltakernes øvrige virkemiddelbruk Innovasjon Norge De påfølgende tabellene viser hva slags støtte FRAM-bedrifter har fått gjennom Innovasjon Norge før, under og etter FRAM deltakelse. Statistikken er på prosjektnivå, men i note framgår det hvor mange bedrifter det dreier seg om. Det følger av statistikken at bedriftene kan få støtte fra flere typer virkemidler, eller flere prosjekter per virkemiddel. Det er flere observasjoner før FRAM deltakelse enn det er underveis og etter. TABELL A FRAM-deltakernes støtte i Innovasjon Norge før FRAM Tjeneste Antall TF-054 Tilskudd 369 P-005 Bygdeutviklingsmidlene 157 TF-042 Stipend til etablerere 141 P-031 Lokalmatprogrammet 74 TF-040 Risikolån 70 P-008 Forsknings- og utviklingskontrakter 59 TF-037 Lavrisikolån 45 P-023 Verdiskapingsprogram for reindrift 30 TF-999 Ikke definert finansieringstjeneste 16 P-003 Bioenergiprogrammet 11 P-013 Marint verdiskapingsprogram 11 TR-001 Designrådgivning 7 P-010 Innovasjon i reiselivsnæringen 4 TR-055 International Business 3 P-021 Trebasert Innovasjonsprogram 2 TF-034 Garantier 2 TN-013 Bedriftsnettverk 2 TR-053 Rådgivning for etablerere 2 (mentor) P-022 Utviklingsprogram for grønt reiseliv 1 TR-003 EU-rådgivning 1 Prosjekter totalt 1007 TABELL B FRAM-deltakernes støtte i Innovasjon Norge samtidig med FRAM Tjeneste Antall TF-054 Tilskudd 84 P-005 Bygdeutviklingsmidlene 37 TF-042 Stipend til etablerere 21 P-008 Forsknings- og utviklingskontrakter 18 P-031 Lokalmatprogrammet 12 TF-040 Risikolån 12 TF-037 Lavrisikolån 7 TF-999 Ikke definert finansieringstjeneste 7 TR-053 Rådgivning for etablerere (mentor) 7 P-023 Verdiskapingsprogram for reindrift 5 TR-001 Designrådgivning 4 TF Utviklingsprogram for lokalmat og 3 grønt reiseliv TN-013 Bedriftsnettverk 3 P-010 Innovasjon i reiselivsnæringen 2 P Innovasjon i reiselivsnæringen 1 P-013 Marint verdiskapingsprogram 1 P-030 Miljøteknologiordningen 1 TF Garantier 1 Prosjekter totalt 226 Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 166 virksomheter fordelt på 226 prosjekter I evalueringsperioden har det totalt vært 1247 bedrifter som har deltatt i FRAM. Det er 561 unike bedrifter som har fått støtte gjennom andre prosjekter før eller samtidig som de deltok i FRAM. Dette indikerer at 44 pst. av bedriftene har vært formelt inne i Innovasjon Norge systemet før eller samtidig med deltakelse i FRAM. I tillegg vil det være svært mange bedrifter som har vært i kontakt med Innovasjon Norge, men som ikke nødvendigvis har fått annen prosjektstøtte. Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 442 virksomheter fordelt på 1007 prosjekter. 86 EVALUERING AV FRAM DAMVAD.COM

87 TABELL C FRAM-deltakernes støtte i Innovasjon Norge etter FRAM Tjeneste Antall TF-054 Tilskudd 152 P-005 Bygdeutviklingsmidlene 41 TF-040 Risikolån 27 P-008 Forsknings- og utviklingskontrakter 20 P-031 Lokalmatprogrammet 17 TF-037 Lavrisikolån 16 TR-053 Rådgivning for etablerere (mentor) 10 TF-042 Stipend til etablerere 8 P-023 Verdiskapingsprogram for reindrift 6 TR-001 Designrådgivning 6 P-030 Miljøteknologiordningen 5 TN-013 Bedriftsnettverk 5 P-003 Bioenergiprogrammet 4 TF-999 Ikke definert finansieringstjeneste 4 TF-034 Garantier 2 TF Utviklingsprogram for lokalmat og 2 grønt reiseliv P Innovasjon i reiselivsnæringen 1 P-013 Marint verdiskapingsprogram 1 P-021 Trebasert Innovasjonsprogram 1 TR-055 International Business 1 Prosjekter totalt 329 Kilde: Samspillsdatabasen (Data fra Innovasjon Norge) Note: 177 virksomheter fordelt på 329 prosjekter Norges Forskningsråd De neste avsnittene viser hvilke forskningsprogrammer og virkemidler FRAM-deltakerne har fått gjennom Norges Forskningsråd før, under og etter deltakelse. Det følger av statistikken at bedriftene kan få støtte fra flere typer virkemidler, eller flere prosjekter per virkemiddel. Her er det også flere observasjoner før deltakelse enn det er for underveis og etter. TABELL D FRAM-deltakernes aktivitet i Norges forskningsråd før FRAM Programaktivitet Antall PES-EU - Prosj.etabl.støtte EU(bedrift) 19 PES-EUR - Pros.etabl.støtte Eureka 10 PETROMAKS 7 RENERGI 7 BIA - Brukerstyrt innovasjonsarena 6 FUNN-3 - Tilskudd til ulønnet FoU-innsats 6 IKTIP - Innovasjonsprogrammet IKT 6 MAT - Næringsmidler 6 MATPROG - Norsk mat fra sjø og land 6 PROSBIO 6 BILATNAER 4 EUROSTARS - EUROSTARS 4 VERDIKT 3 FUGE 2 MEDKAP - Næringsutvikling fra med.forsk 2 NAERINGSPH - Nærings-phd 2 P-SAMISK - Program for samisk forskning 2 PROSMAT - Norsk prosess- og materialind 2 PULS - Tjenesteyting,handel,logistikk 2 BIONÆR 1 CLIMIT 1 DEMO DIP - Design Pilot 1 EMBA-2 - Teknologi for fornybar energi 1 INT-BILAT - BILAT-ordningen 1 OG - Program for olje og gass 1 PES-EØS - Prosj.etab.støtte EØS-området 1 PROGIT - Br.styrt FoU i IT/grafisk ind 1 PROREAL - Profileringsprogr.f.realfagene 1 TJ-INFO - Tjenesteyting/infostruktur 1 VM - Vareprod. og materialforedling 1 VRI 1 Totalt 115 Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 39 virksomheter fordelt på 115 prosjekter. EVALUERING AV FRAM DAMVAD.COM 87

88 TABELL E FRAM-deltakernes aktivitet i Norges forskningsråd samtidig med FRAM Programaktivitet Antall PES-EU - Prosj.etabl.støtte EU(bedrift) 4 PES-EUR - Pros.etabl.støtte Eureka 4 EUROSTARS - EUROSTARS 1 MAT-SLF - FFL/JA-finansiert prosjekt 1 MVP - Marint verdiskapingsprogram 1 NAERINGSPH - Nærings-phd 1 Totalt 12 TABELL G FRAM-bedrifter og SkatteFUNN-prosjekter Godkjente prosjekter Antall virksomheter Før Under Etter Kilde: Samspillsdatabasen (Data fra Norges Forskningsråd) Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 10 virksomheter fordelt på 12 prosjekter. TABELL F FRAM-deltakernes aktivitet i Norges forskningsråd etter FRAM Programaktivitet Antall PES-EU - Prosj.etabl.støtte EU(bedrift) 10 DEMO PETROMAKS 2 EUROSTARS - EUROSTARS 1 NAERINGSPH - Nærings-phd 1 PES-EUR - Pros.etabl.støtte Eureka 1 VERDIKT 1 Sum 18 Kilde: Samspillsdatabasen (Data fra Forskningsrådet) Note: 8 virksomheter fordelt på 18 prosjekter. SkatteFUNN Statistikken over SkatteFUNN deltakelse viser bedrifter som har fått innvilget søknad skattefradrag, men ikke nødvendigvis fått fradraget. Det er skatteetaten som har endelig beslutningsmyndighet på faktisk fradrag. 88 EVALUERING AV FRAM DAMVAD.COM

89 Sørkedalsveien 10A N-0369 Oslo Frederik Langes Gate 20 N-9008 Tromsø Badstuestræde 20 DK-1209 Copenhagen K