Samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor. Nettverksmøte i DFØ

Samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor Nettverksmøte i DFØ 26.09.2016

Agenda Presentasjon av samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor Analyse utført av Oslo Economics og Amesto Translations på vegne av KMD Fokus er å beskrive: Hvordan vi gikk frem for å gjennomføre analysen Hvilke utfordringer oppstod underveis og hvordan vi valgte å løse dem Hvilke lærdommer vi sitter igjen med 2

Hvorfor gjennomførte vi en samfunnsøkonomisk analyse av et verktøy for automatisk oversettelse? Bakgrunn EU-kommisjonen har utviklet et verktøy for maskinoversettelse, MT@EC Kvaliteten på MT@ECs maskinoversettelse er bedre, jo flere oversatte tekster som «ligger i minnet» Overordnede problemstillinger: Hvilke gevinster gir et slikt verktøy i norske statlige virksomheter? Bør man investere i kvalitetsforbedringer? Hvor mye? Kvaliteten på norskoversettelsen er foreløpig dårlig 3

Vår innfallsvinkel til den samfunnsøkonomiske analysen Trinn 1: Vurdere det generelle behovet for et slikt verktøy Trinn 2: Beskrive ulike satsingsnivå Trinn 3: Identifisere virkninger Trinn 4: Tallfeste og verdsette virkninger Trinn 5: Vurdere samfunnsøkonomisk lønnsomhet Trinn 6: Belyse usikkerhet Trinn 8: Gi en samlet vurdering og anbefale tiltak 4

Trinn 0: Forstå tiltaket du skal analysere! Dagens anvendelser av MT@EC og målgrupper i Norge Anvendelser Webtjeneste for oversettelse av dokumenter Anvendelse i EUs online tjenester/ plattformer Målgrupper i Norge Primært offentlig ansatte og saksbehandlere. Profesjonelle oversettere Forbrukere, arbeidstakere og arbeidsgivere, etc. 5

Hvilke informasjonskilder benyttet vi i analysen? Dybdeintervjuer Dybdeintervjuer med DG Translate, DG Connect og den svenske oversetteravdelingen i EU-kommisjonen Spyridon Pilos og Markus Foti i DG Translate Kimmo Rossi i DG Connect Tomas Backlund, svenske oversetteravdelingen i EU 12 intervjuer med ulike departement og etater hovedvekt på virksomheter med interne oversettere Intervju med forsker Trond Trosterud ved Universitetet i Tromsø. Spørreundersøkelse Spørreundersøkelse hos etater og departementer for å utvide utvalget. Undersøkelsen ble sendt ut til 36 virksomheter, og vi mottok svar fra 30. Spørreundersøkelse blant ansatte i Mattilsynet, BLD, Innovasjon N., Forbruker Europa, Vegvesenet, Sjø.dir. og Finanstilsynet og UDI 45 svar (svarprosent på 44 %) Utredningen har også bygget på skriftlig informasjon om MT@EC/CEF.AT primært fra EU-kommisjonen 6 Kartlegging av behovet for automatisk oversettelse i statlig sektor

Samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor 1. Vurdering av behovet for MT@EC 2. Alternative satsingsnivå 3. Nytte- og kostnadsvirkninger av en satsing på MT@EC 4. Usikkerhet 5. Samlede anbefalinger 6. Lærdommer

Fokus i behovskartleggingen 1. Dagens ressursbruk til oversettelse 2. Vurderte virksomhetenes generelle oversettelsesbehov Hvilke språk det oversettes til Type tekster som oversettes Hvilken fagterminologi som benyttes Bruk av digitale hjelpemidler i dag Interne oversettere Anvendelse av EUs webportaler hvor MT@EC er integrert 3. Virksomhetenes vurdering av eget behov for MT@EC 8

Dagens ressursbruk til oversettelse er en indikator på behovet for å ta i bruk maskinoversettelse Ressursbruk i utvalg 9 Estimert årlig ressursbruk til oversettelse i mill. kr eks mva 80 70 60 50 40 30 20 10 0 20-25 22-23?? 40-50 Innkjøp Ressursbruk Ressursbruk Samlet oversettelse interne statlige ressursbruk oversettere ansatte 13 mill kr 22 mill kr 1 mill kr 35 mill kr Vi estimerer at samlet ressursbruk i statlig sektor til oversettelse er 40-50 millioner kroner årlig Gjennomsnittlig ressursbruk til innkjøp av oversettelse er rundt 370 000 kr årlig per virksomhet men noen virksomheter skiller seg ut Det medgår ca. 32 årsverk i staten for oversettelse som gjennomføres av interne profesjonelle oversettere.

Vurdering av behov for MT@EC blant interne oversettere De fleste interne oversetterne i staten benytter et såkalt CAT-verktøy (Computer-Assisted-Translation) MT@EC vurderes å gi begrensede effektivitetsgevinster utover det de allerede har realisert ved å ta i bruk CAT-verktøy. Gevinsten avhenger i stor grad av kvaliteten på oversettelsen og hvor stort minne virksomheten har fra før. Gevinst forutsetter effektiv integrering i dagens CAT-verktøy. 10

Vurdering av behov for MT@EC i statlige virksomheter Litt over halvparten av virksomhetene uttaler at MT@EC vil gi virksomheten gevinster. Utbredt bruk av gratis oversettelsesverktøy som Google Translate kan også antyde at det er et behov for MT@EC. Virksomhetene er opptatt av at oversettelsen må ha relativt høy kvalitet og anvende relevant fagterminologi for at det skal gi de gevinster. Primært gevinst i form av at mer oversettes forventes ingen kostnadsreduksjon som følge av MT@EC. Samlet sett er behovet for en løsning for automatisk oversettelse i mange virksomheter stort, men det er behov for relativt høy kvalitet på oversettelsen og at oversettelsen er tilpasset det aktuelle fagområdet. 11

Utfordringer som oppstod i behovskartleggingen Utfordringer Løsninger/erfaringer Representativitet i frivillige spørreundersøkelser Vi valgte å innhente innspill fra virksomhetene i tillegg til spørreundersøkelsen blant de ansatte for å få en overordnet vurdering av virksomhetenes behov Behovet avhenger av kvaliteten på verktøyet => Investeringer i kvalitetsforbedringer avhenger av behovet Respondentene ble bedt om å vurdere behovet for verktøyet med en gitt kvalitet Vanskelig for respondentene å ta stilling til behovet for verktøyet Objektive forhold som ressursbruk til oversettelse, hvor ofte du oversetter tekster og dagens bruk av digitale verktøy kan gi vel så nyttig informasjon om behovet! 12

Samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor 1. Vurdering av behovet for MT@EC 2. Alternative satsingsnivå 3. Nytte- og kostnadsvirkninger av en satsing på MT@EC 4. Usikkerhet 5. Samlet anbefalinger 6. Lærdommer

Trinn 1: Hvilke alternative tiltak kan bidra til å forbedre kvaliteten på oversettelsen til norsk? Alternativene er ulike nivåer på satsingen som vurderes opp mot hverandre, og opp mot å fortsette med dagens nivå. Det siste er det som kalles «nullalternativet» i analysen. En satsing på MT@EC vil ikke være et «enten eller»- valg, men heller en vurdering av i hvilken grad man burde satse. Utfordringer mulige tiltak har mange dimensjoner Hvor mange tekster bør samles inn? Bør det produseres oversettelser for å benyttes i MT@EC? Hvilke språk bør det samles inn tekster på? Hvilke fagområder bør det innhentes tekster innenfor? Bør det innhentes tekster på nynorsk? Hvordan ville dere gått frem for å skissere alternative satsingsnivå? 14

Trinn 1: Hvilke alternative tiltak kan bidra til å forbedre kvaliteten på oversettelsen til norsk? Vår tilnærming Språk Innsamling av oversatte tekster? Produksjon av tekster Fagområder Avgrenset oss i alternativanalysen til norsk-engelsk. EU-kommisjonen uttalte at det var svært lite sannsynlig at de vil prioritere å bygge direktemotorer mellom norsk og et annet språk enn engelsk. To hovedalternativer: Innhente oversatte tekster som foreligger på oversettelsesformat. Disse kan innhentes fra profesjonelle oversettere. Innhenting av oversatte tekster på andre filformat (word-dokumenter), etc. Vi forutsatte et gitt nivå på produksjon av tekster i den samfunnsøkonomiske analysen Krevende å velge ut hvilke fagområder som bør prioriteres før man har en oversikt over kvaliteten man oppnår ved å innhente allerede oversatte tekster 15

Alternativene vi skisserte i vår analyse Satsningsnivå 0 Satsningsnivå 1 Satsningsnivå 2 Satsningsnivå 3 Nynorsksatsing Ingen endring i antall segmenter Kontinuerlig avlevering av segmenter Kontinuerlig avlevering av segmenter Kontinuerlig avlevering av segmenter Innhenting av eksisterende filer i rett filformat Innhenting av eksisterende filer i rett filformat Innhenting av parallelle tekster i andre filformat Innhenting av eksisterende filer i rett filformat Innhenting av parallelle tekster i andre filformat Produksjon av corpora Produksjon av corpora 16

Samfunnsøkonomisk analyse av automatisk oversettelse i statlig sektor 1. Vurdering av behovet for MT@EC 2. Alternative satsingsnivå 3. Nytte- og kostnadsvirkninger av en satsing på MT@EC 4. Usikkerhet 5. Samlet anbefalinger 6. Lærdommer og råd

Nyttig å sette opp årsak-virkning-kjeder når man skal vurdere virkninger for å unngå dobbeltelling Direkte konsekvenser av verktøy Mer effektiv oversettelse Mer kommunikasjon og informasjonsdeling på tvers av landegrenser Økt samarbeid mellom offentlig administrasjon på tvers av landegrenser Mer effektiv utveksling av informasjon mellom offentlig adm. for å tilfredsstille juridiske krav og politiske forpliktelser Mer deling, innhenting og gjenbruk av informasjon mellom ulike land Resultat Samfunnseffekter Økt kvalitet på offentlige tjenester Lavere kostnader i offentlig sektor 18

Ikke-prissatte virkninger av en satsing på MT@EC Ikke-prissatte virkninger Mer kommunikasjon og informasjonsdeling på tvers av landegrenser Mer standardisering av språk Lavere språklig kvalitet Flere misforståelser og mer støy i kommunikasjonen på tvers av landegrenser Bedre ivaretakelse av personvern og samfunnssikkerhet Tilgjengeliggjøring av informasjon og dokumenter på nynorsk Konkurranse i markedet for maskinoversettelse Mindre tidkrevende å oversette og forstå tekster. Oversettelsene bygger på samme tekstminne Feil eller uegnet ordvalg eller grammatiske feil i oversettelsen. På grunn av ukritisk bruk eller mangelfull etterredigering. Større sikkerhet/bedre håndtering av sensitive opplysninger enn ved bruk av gratis oversettelsesverktøy. Mer tekst blir tilgjengeliggjort på nynorsk. Ettersom det finnes private tilbydere som tilbyr løsninger som i større eller mindre grad er substitutter til MT@EC kan en satsing på MT@EC potensielt skape konkurransevridende effekter. 19

Vurdering av virkninger ved ulike satsingsnivå Konsekvens Konsekvens Konsekvens Virkning Nivå 1 Nivå 2 Nivå 3 Nynorsk Kom. og informasjonsdeling på tvers av landegrenser + ++ +++ 0 Standardisering av språk ++ ++ ++ + Språklig kvalitet 0/- 0/- 0/- 0/- Misforståelser og støy i kommunikasjonen på tvers av landegrenser -/-- -/-- -/-- - Ivaretakelse av personvern og samfunnssikkerhet 0/+ 0/+ 0/+ 0/+ Tilgjengeliggjøring av informasjon på nynorsk 0 0 0 0/+ Konkurranse i markedet for maskinoversettelse 0/- 0/- 0/- 0/- 20

Estimert kostnad (NV i mill NOK) Antall segmenter (mill) Estimerte kostnader ved de ulike satsingsnivåene Totale kostnader vs. antall segmenter 14 12 10 12,5 20 15 8 6 4 6,5 10 4 2 0 3 Satsningsnivå 0 Satsningsnivå 1 Satsningsnivå 2 Satsningsnivå 3 Nynorsk 5 0 Segmenter bokmål Segmenter nynorsk 21

Forutsetninger for kostnadsestimering Satsningsnivå 1 Satsningsnivå 2 Satsningsnivå 3 Nynorsk 1 årsverk til etablering av ordningen, 0,25 årsverk i drift (1 ukesverk per virksomhet med interne oversettere og 1 månedsverk sentralt) 1,5 årsverk til gjennomgang, screening og avlevering av segmenter 1 årsverk til etablering av ordningen, 0,25 årsverk i drift (1 ukesverk per virksomhet med interne oversettere og 1 månedsverk sentralt) 1,5 årsverk til gjennomgang, screening og avlevering av segmenter 2,5 årsverk til gjennomgang og avlevering av parallelle dokumenter og konvertering av filformat 1 årsverk til etablering av ordningen, 0,25 årsverk i drift (1 ukesverk per virksomhet med interne oversettere og 1 månedsverk sentralt) 1,5 årsverk til gjennomgang, screening og avlevering av segmenter 2,5 årsverk til gjennomgang og avlevering av parallelle dokumenter og konvertering av filformat 100 000 segmenter produseres, 9 ord per segment i snitt og 2 kr per ord - - - 700.000 segmenter produseres. 9 ord per segment i snitt og 2 kr per ord 22

Hvordan vi gikk fram for å vurdere kostnader Kostnad for innlevering av tekst og segmenter: Våre forutsetninger er basert på informanters vurdering av tidsbruk ved en eventuell avlevering av dokumenter, samt Amesto Translations sin vurdering av arbeid knyttet til konvertering til rett filformat. Produksjon av segmenter: Basert på prisinformasjon til Amesto Translations fra rammeavtaler med offentlige kunder. Videre er priser estimert ved hjelp av en sammenstilling av kostnader til oversettelser og estimert antall segmenter i 2014. Disse estimerte prisene samsvarte med opplysninger fra rammeavtalene. Utfordring: På tross av omfattende informasjonsinnhenting, ble vi nødt til å gjøre skjønnsmessige vurderinger. Eksempelvis av ressursbruken knyttet til å administrere innsamlingen av tekster. 23

Usikkerhetsmomenter i vår analyse Omfang av tekst som kan benyttes i corpus Kvaliteten på maskinoversettelsene som oppnås innenfor de ulike fagområdene I hvilken grad vil verktøyet tas i bruk? 25

Til diskusjon: Hvordan vurdere lønnsomheten av verktøyet? Hvordan vurdere lønnsomheten til et tiltak med prissatte kostnadsvirkninger, men i all hovedsak ikke-prissatte nyttevirkninger: Kan de positive (ikke-prissatte) effektene man oppnår ved å ta i bruk automatisk oversettelse forsvare investeringskostnaden knyttet til en minimumssatsing? Dersom man velger å investere i verktøyet, hvilket satsingsnivå er mest lønnsomt? 27

Vår samlede vurdering og anbefaling Vi vurderer at de positive effektene MT@EC medfører i form av økt informasjonsutveksling på tvers av landegrenser kan forsvare en satsing utover dagens nivå. En satsing utover satsingsnivå 1 vil gi en betydelig relativ kostnadsøkning, samtidig som økningen i omfanget av corpora er liten. Vi vurderer på bakgrunn av dette at satsingsnivå 1 fremstår som mest hensiktsmessig. Satsingsnivå 1 utelukker ikke muligheten for en videre satsing i fremtiden:. Med satsingsnivå 1 vil man trolig få en kvalitetsforbedring i oversettelsene på en rekke fagområder. Etter en vurdering av gevinstrealiseringen som følge av satsingsnivå 1, vil det være mulig å investere ytterligere i tekstinnsamling og produksjon av corpora ved behov. Ved produksjon av corpora kan man da prioritere de områdene hvor behovet for kvalitetsforbedringer er stort. En høy kostnad, kombinert med et lavt rapportert behov for nynorskoversettelser gjør at vi vurderer at det ikke er grunnlag for å anbefale en satsing på nynorsk i MT@EC. 28

Våre lærdommer Å forstå tiltaket du skal vurdere godt, er en forutsetning for en god analyse Selv om tiltaket har mange dimensjoner, kan det å bruke konkrete eksempler på ulike alternativer tydeliggjøre de viktigste forskjellene Bruk ulike tilnærminger til å vurdere behovet for et tiltak mange ikke kjenner til En forenklet analyse er bedre enn ingen analyse! 30

Vedlegg 31

Utvalget av statlige virksomheter i kartleggingen Gjennomførte dybdeintervjuer Svar på spørreskjema mottatt fra Spørreundersøkelse blant ansatte 1. Utenriksdepartementet: Avdeling for EØSoversettelser Seksjon for oversettelser Europaavdelingen v/geir Bekkevold 2. Statens vegvesen 3. Forbrukerrådet 4. Mattilsynet 5. Statistisk Sentralbyrå 6. Sjøfartsdirektoratet 7. Justisdepartementet 8. Forbruker Europa 9. Barne- og likestillingsdepartementet 10. Domstolsadministrasjonen 11. Stortinget 1. Arbeids- og sosialdepartementet (ASD) 2. Brønnøysundregistrene 3. Datatilsynet 4. Direktoratet for økonomistyring (DFØ) 5. Direktoratet for byggkvalitet (DIBK) 6. Direktoratet for samfunnssikkerhet og beredskap (DSB) 7. Stiftelsen Miljømerking (Ecolabel) 8. Finansdepartementet (FIN) 9. Finanstilsynet 10. Forbrukerombudet 11. Havarikommisjonen 12. Helsedirektoratet 13. Helse- og omsorgsdepartementet (HOD) 14. Integrerings- og Mangfoldsdirektoratet (IMDi) 15. Innovasjon Norge 16. Klima- og miljødepartementet (KLD) 17. Kripos 18. Kunnskapsdepartementet (KD) 19. Lovdata 20. Miljødirektoratet 21. NAV 22. Nasjonal kommunikasjonsmyndighet (NKOM) 23. NOKUT 24. Nærings- og fiskeridepartementet 25. Olje- og energidepartementet (OED) 26. Petroleumstilsynet (Ptil) 27. Riksrevisjonen 28. Samferdselsdepartementet (SD) 29. Skattedirektoratet 30. Utlendingsdirektoratet (UDI) Spørreundersøkelsen sendt ut til: 1. Mattilsynet (19/22) 2. BLD (6/17) 3. Innovasjon Norge (3/18) 4. Forbruker Europa (2/3) 5. Statens vegvesen (2/25) 6. Sjøfartsdirektoratet (4/4) 7. Finanstilsynet (4/4) 8. UDI (6/9) 32

Eksisterende og fremtidige anvendelser i EUs online tjenester/plattformer EU-webportaler hvor MT@EC er implementert i dag IMI SOLVIT Eur-Lex/ nlex CircaBC TED Portal for ansatte i offentlige virksomheter. Gjennom portalen skal eksempelvis en saksbehandler i Norge kunne kommunisere direkte med en saksbehandler i et annet land på eget språk. Portal for privatpersoner, som skal bistå med å problemer knyttet til brudd på EØS-rettigheter. Portal som samler alle medlemslandenes nasjonale lovverk. Kommunikasjon og informasjon ressurssenter for administrasjon, bedrifter og innbyggere. Portal for kunngjøring av offentlige innkjøp i EU. Webportaler og nettsteder hvor MT@EC vil integreres på sikt som en del av CEF-plattformen Europeana Open Data Portal Electronic Exchange of Social Security Information ODR e-justice Digitalt europeisk bibliotek med et felles flerspråklig aksesspunkt til digitale ressurser Felles europeisk åpen portal for tilgang til åpne datainfrastrukturer Plattform for samarbeid mellom 32 land Online Dispute Resolution - Online plattform for forbrukerklager En portal som gir et felles aksess til lovverk og muliggjør juridisk samarbeid 33

De fleste interne oversetterne benytter allerede digitale hjelpemidler Virksomhet UD - EØSoversettelse UD - Seksjon for oversettelse Statens vegvesen Sjøfartsdir. Finanstilsynet Stortinget Digitale hjelpemidler som benyttes til oversettelse (CAT-tool) SDL Trados Studio MultiTrans Prism Memsource SDL Trados Studio Benytter ingen verktøy Benytter ingen verktøy De fleste interne oversetterne i staten benytter et såkalt «CAT-tool» - «Computer-assisted translation-tool» Dette er et dataprogram som støtter og fasiliteter oversetterens arbeid. Viktige funksjoner: Segmenterer teksten i setninger og presenterer segmentene på en egnet form. Lagrer segmentene i et minne. Søkbart minne og/eller automatiske forslag til oversettelse av segmenter basert på minne (100 prosent «match» og andre forslag basert på minne) 34