Nøkkelord maskinlæring, prediksjon, digitalisering, kontroll, merverdiavgift, svart boks

Transkript

1 Er maskinlæring framtida i Skatteetaten? DOI Kommer Anders Løland, Anders Berset og Ingrid Hobæk Haff Anders Løland er assisterende forskningssjef ved Norsk Regnesentral. E-post: anders.loland@nr.no Anders Berset er seniorrådgiver i Skattedirektoratet. E-post: Anders.Berset@skatteetaten.no Ingrid Hobæk Haff er førsteamanuensis ved Matematisk Institutt, Universitetet i Oslo. E-post: ingrihaf@math.uio.no Skatteetaten bruker i dag prediktive metoder til blant annet utvelgelse til kontroll av merverdiavgiftsoppgaver og til å forbedre og effektivisere innkreving av skatter. Dette har vist seg å gi økt proveny og en mer effektiv utnyttelse av ressursene. Framover ønsker Skatteetaten å få utviklet nye modeller som vil forenkle rapporteringen for den delen av næringslivet som opererer innenfor lovverket, og samtidig gjør kampen mot svart økonomi mer effektiv. Derfor har etaten inngått partnerskap med Big Insight, som er et såkalt Senter for forskningsdrevet innovasjon. Big Insight består av forskningspartnere, private bedrifter og offentlige etater, og skal forske på innovative statistikk- og maskinlæringsmetoder for å løse viktige problemer. Hovedformålet med samarbeidet mellom Skatteetaten og Big Insight er å utvikle metodikk som gjør det mulig å ta i bruk stadig nye datakilder og økte datamengder for å målrette veiledning, kommunikasjon, forebygging og forenkling av kontrollarbeidet. Nøkkelord maskinlæring, prediksjon, digitalisering, kontroll, merverdiavgift, svart boks Innledning Big Insight ble opprettet i 2015 og skal leve til Big Insight skal fokusere på to sentrale innovasjonstemaer; personifiserte løsninger og prediksjon av endringer og faseoverganger. Senteret er organisert i fem innovasjonsprosjekter: persontilpasset markedsføring, persontilpasset helse og pasientsikkerhet, persontilpasset svindeldeteksjon, sensorsystemer og prediksjon av kraftsystemer (Big Insight, 2017). Skatteetaten har de siste årene tatt i bruk prediktive modeller til enkelte kontrollformål, spesielt ved kontroll av merverdiavgiftsoppgaver (Hussain, Berset og Paulsen, 2015) og skattemeldinger (Thorsager, Olsen og Foss, 2016). I Big Insight deltar Skatteetaten i «Persontilpasset svindeldeteksjon» samt i «Persontilpasset markedsføring». I det følgende vil vi konsentrere oss om aktiviteten i «Persontilpasset svindeldeteksjon». Prosjektet har tre brukerpartnere: Skatteetaten, Gjensidige og DNB. Dessuten deltar forskere ved Norsk Regnesentral, Universitetet i Oslo og Universitetet i Bergen. Skatteetaten er interessert i å finne nye metoder for å avsløre skattesvindel, spesielt mva.- unndragelse, og feil i innsendte mva.-meldinger. Gjensidige ønsker å oppdage forsikringssvindel, primært såkalt myksvindel. Det dreier seg om at en kunde overdriver et ellers legitimt krav ved for eksempel å hevde at en skade er mer alvorlig enn den er, eller at stjålne eiendeler er verdt mer enn de er. DNB er lovpålagt å rapportere eventuelle forsøk på hvitvasking. Det er en svært krevende oppgave når millioner av transaksjoner går gjennom DNBs systemer hver dag. Banken ønsker derfor bedre verktøy for å avsløre hvitvasking.

2 Til tross for at det forskes på ulike typer svindel i Big Insight, er det mange fellestrekk. Svindel er en sjelden hendelse og de fleste saker eller kunder blir aldri kontrollert. Bolton og Hand (2002) skriver på bakgrunn av dette at: This leads us to note the fundamental point that we can seldom be certain, by statistical analysis alone, that a fraud has been perpetrated. Rather, the analysis should be regarded as alerting us to the fact that an observation is anomalous, or more likely to be fraudulent than others, so that it can then be investigated in more detail. I undersøkelsen av en potensiell svindelsak kan det dessuten være at saken er interessant, men at det på et gitt tidspunkt ikke er ressurser nok til å undersøke saken grundig nok. Vi har derfor kommet til at vi må ta et skritt tilbake og utvikle metoder som ikke nødvendigvis finner svindlere, men snarere søker å finne såkalt kontrollverdige saker. Det kan skje ved å beregne sannsynligheten for om en sak er kontrollverdig. Selv om en sak er kontrollverdig, kan det dessuten være at det ikke lønner seg å undersøke den. Det kan vi få innsikt i ved å anslå den forventede gevinsten ved å undersøke saken. Når en saksbehandler skal undersøke en potensiell svindelsak, holder det ikke å få vite at sannsynligheten for at den er kontrollverdig er så og så høy. Da kan det være problematisk om svaret kommer fra en såkalt svart boks. Svart boks-metoder kjennetegnes ved at dataene en sender inn i metoden er velkjente og forståelige, mens selve modellen er såpass kompleks og sammensatt at det er vanskelig å forklare hvorfor resultatene blir som de blir. Hvis målet med analysen er å produsere best mulige prediksjoner eller klassifikasjoner, må en typisk ty til svarte bokser. Prediksjonsevne går altså på bekostning av tolkbarhet, som forutsetter enklere, mer oversiktlige modeller. Bankkunder som blir vurdert til å ikke være kredittverdige av en algoritme vil for eksempel ønske eller kunne kreve å få vite hva som førte til det utslaget. EUs nye personvernforordning 1, som blir norsk lov fra 2018, kan medføre at kunden kan kreve dette. En fare ved utbredt bruk av maskinlæring er nettopp at modellen kan oppfattes som en svart boks. Vi må imidlertid kunne forklare hvorfor akkurat denne saken ble valgt ut. I den grad modeller tidligere ble forklart, ble det gjort med gjennomsnittsbetraktinger, for eksempel at det er større sjanse for en bedrift å bli valgt ut til mva.-kontroll hvis den opererer i den og den bransjen og har noen uvanlige regnskapsmessige størrelser. Vi synes ikke det er en tilfredsstillende forklaring, og inspirert av nyere forskning, vil vi utvikle persontilpassede modeller og persontilpassede forklaringer på modellene. Vårt mål er altså å utvikle felles metodikk som partnerne og andre 2 kan ta i bruk for å forbedre og effektivisere sine kontrolloppgaver. Det er ingen kobling av data på tvers av partnere i Big Insight, men ved å bryne oss på forskjellige datasett og beslektede problemstillinger, kan vi nå lenger enn om vi kun hadde jobbet med ett datasett fra én partner. Hva sikter Big Insight mot? Det er stadig større etterspørsel etter «data science»-kompetanse, og ett av målene med Big Insight er nettopp å bygge opp slik kompetanse. Høsten 2018 lanseres det nye masterprogrammet «Data science» ved Universitetet i Oslo. Dette er et samarbeid mellom Matematisk institutt og Institutt for informatikk, og er et tverrfaglig program innen informatikk, statistikk og matematikk. Programmet er ment å gi både et teoretisk grunnlag og praktisk erfaring med alt fra definisjon av problemer, via utvinning og forhåndsbehandling av data, til analyse og presentasjon av resultater. Studentene får selv velge hvilken komponent de ønsker å fordype seg i. Til sammen er det tre spesialiseringer, nemlig «Statistikk og maskinlæring», «Database integrasjon og semantisk web» og «Data science og livsvitenskap». Videre skal temaene for masteroppgavene i stor grad være basert på reelle problemer fra industri og offentlig sektor. Big Insight og Sirius (et annet Senter for forskningsbasert innovasjon med Institutt for informatikk som vertsinstitusjon) vil blant annet bidra med problemstillinger.

3 Big Insight vil for øvrig rette mer oppmerksomhet mot nettverksmodeller framover. Nettverk kan for eksempel beskrive sosiale relasjoner mellom mennesker eller sammenhenger mellom bedrifter og personer som er tilknyttet bedriftene i forskjellige roller. Ta for eksempel bilforsikringssvindel. Hvis et bestemt bilverksted er knyttet til flere svindelsaker, kan det være vel verdt å se nærmere på en ny sak der det samme verkstedet er involvert. Ved hjelp av nettverksmodeller kan en hente ut slik informasjon. Mer generelt kan nettverkene gjøre det mulig å utnytte informasjon også fra andre tilfeller som på ett eller annet vis er tilknyttet et gitt tilfelle, og som ellers er vanskelig å fange opp fra de andre datakildene en bruker. For å bygge nettverkene kan en benytte data fra rolleregistre, transaksjoner mellom bankkontoer, eller lignende (se for eksempel Baesens, Vlasselaer og Verbeke (2015)). En annen datakilde som vi forventer blir viktig i mange av prosjektene til Big Insight er tekst. Det kan ofte være mye nyttig informasjon i notater fra saksbehandlere eller beskrivelser og svar fra kunder. Det er imidlertid ikke rett fram å utnytte denne informasjonen i automatiske, selvkjørende algoritmer. For å kunne trekke ut denne informasjonen automatisk, trenger en såkalte tekstminingsmetoder, og informasjonen må deretter integreres med metodene som utnytter mer tradisjonelle data på en fornuftig måte. Prosjektene i Big Insight tar også i bruk dyp læring (Kvamme, Sellereite, Aas og Sjursen, 2017), og vil gjøre det i økende grad framover. Dyp læring er maskinlæringsmetoder basert på nevrale nett med mange lag, som har blitt brukt med suksess innen en rekke felter, slik som bilde- og talegjenkjenning og maskinbasert oversettelse. Disse metodene egner seg godt når store mengder data er tilgjengelig, for eksempel et stort sett med bilder, eller en lang tidsrekke, altså gjentatte målinger over tid. Metodene er typisk ikke laget for å lete etter bestemte predefinerte mønstre, men snarere for å oppdage mønstre på egenhånd. Et annet viktig tema i Big Insight er hvordan en kan tolke resultater som kommer fra svarte bokser, som diskutert i innledningen. Lovende metodikk utviklet av Ribeiro, Singh og Guestrin (2016) viser at det generelt kan være mulig å kikke inn i en slik svart boks-modell. Ribeiro, Singh og Guestrin utnytter det faktum at selv svært komplekse modeller, slik som dype nett, er satt sammen av mange enkle biter. Big Insight tar sikte på å utvikle disse metodene videre, samt å utvikle nye og bedre metoder for dette. Bruk av modeller i Skatteetaten i dag Skatteetaten har over flere år utviklet og testet statistiske modeller for å effektivisere og forbedre innkreving av skatter, utvelgelse til kontroll og saksbehandling. Resultatene er positive og viser at modellene har gitt forbedringer i måten Skatteetaten løser oppgavene på og gitt økt proveny. Det er et generelt utviklingstrekk at større organisasjoner som Skatteetaten får økt tilfang av datakilder. Dette kan være nye innrapporterte opplysninger eller data som genereres i Skatteetatens løsninger. Utviklingen innenfor digitalisering, innsamling, lagring, søking, deling, utveksling og visualisering av data har medført at flere nye kilder blir tilgjengelige for analyse. Det gjør at Skatteetaten kan utnytte det stadig økende tilfanget av data til å ta bedre beslutninger. Dette vil i mange tilfeller kreve avanserte analyseteknikker for å trekke ut meningsfull informasjon, finne mønstre og kunne forutsi fremtidige hendelser (predikere). Statistiske modeller i Skatteetaten har så langt blitt brukt til prediksjon og scoring for utvelgelse til kontroll, innkreving og manglende innlevering av meldinger. Disse prediksjonsmodellene beregner en score som representerer en sannsynlighet for at en hendelse inntreffer. Innenfor kontrollaktiviteten vil alle saker med høy score vurderes av en eller flere saksbehandlere. For innkreving og manglende meldingsinnlevering er det utviklet ulike modellbaserte betjeningsstrategier for å effektivisere arbeidsprosessene. Hvert år håndterer Skatteetaten skattemeldinger for 4,4 millioner lønnstakere og pensjonister. Når disse mottar skattemeldingen, er de fleste relevante poster forhåndsutfylt med opplysninger fra tredjepart som banker, arbeidsgivere og andre. Flertallet av skattytere har ingen endringer til den forhåndsutfylte skattemeldingen. Når skattemeldingen er levert kontrolleres de av Skatteetaten for å finne skattytere som gjør feil. Blant alle skattemeldingene er det en relativt liten andel med feil. Dette

4 er en av flere grunner til at Skatteetaten har utviklet en prediktiv modell som scorer alle meldingene som sendes inn, og grupperer skattytere etter sannsynlighet for feil på fradragsposter. Modellen gjør at Skatteetaten i mindre grad kontrollerer skattemeldinger uten feil. Modellen har bidratt til økt skatteproveny og forhindret unødvendige henvendelser til skattytere (Thorsager, Olsen og Foss, 2016). Ved innkreving av restskatt, scores alle restskattytere etter sannsynligheten for at de betaler skyldig restskatt. Dermed kan innkrevingsarbeidet differensieres mot de ulike restskattyterne og oppnå økt og tidligere innbetaling av restskatt gjennom mer målrettet virkemiddelbruk, større grad av likebehandling av like saker og en mer effektiv ressursbruk. Skatteetaten har utviklet flere modeller for merverdiavgift (Hussain, Berset og Paulsen, 2015). Etaten mottar hvert år over 1,6 millioner mva.-meldinger. En rekke virksomheter leverer i dag melding etter at fristen har forfalt, og etter at Skatteetaten har foretatt en skjønnsfastsettelse. Dette betyr at mye tid går med til unødig skjønnsarbeid. Skatteetaten har gjennomført en pilotstudie hvor det er benyttet prediktive modeller som forutsier hvilke virksomheter som leverer mva.-melding og hvilke virksomheter som ikke gjør det. Andelen skjønnede virksomheter har gått ned med 16 prosent sammenlignet med perioden før pilotstudien. Samtidig har arbeidsbyrden for saksbehandlerne blitt jevnere, og det har effektivisert arbeidet med å avklare hvilke virksomheter som bør slettes fra Merverdiavgiftsregisteret. Feil i mva.-meldingen kan skyldes at næringsdrivende bevisst overrapporterer kostnader, underrapporterer inntekter, ubevisst misforstår regelverk eller på annen måte feilfører i sitt avgiftsregnskap. Meldingskontroll er en kontroll hvor virksomhetens regnskap og bilag blir sammenliknet med mva.-meldingen som er sendt inn. Skatteetaten har en rekke regler og filtre i saksbehandlingssystemet for å vurdere meldinger til kontroll. Filtrene som tradisjonelt er brukt, gir utslag på langt flere meldinger enn det er hensiktsmessig å kontrollere. Flere filtre kan ha utslag på samme melding. Det høye volumet av meldinger sammen med korte frister for saksbehandling gjør mva.-meldingskontroll til et egnet område for utforsking av utvelgelsesmetoder ved hjelp av prediksjon. I en pilotstudie har Skatteetaten testet en statistisk modell for å risikoscore alle mva.- meldinger som kommer inn. Saksbehandler får tildelt saker med høy sannsynlighet og vil, basert på denne og andre opplysninger, vurdere hvilke mva.-meldinger som skal kontrolleres. Resultatene så langt er positive, og viser at modellen i gjennomsnitt gir 8 prosentpoeng bedre treffprosent og rundt kroner høyere beløpsmessige endringer enn en tradisjonell tilnærming. Det jobbes nå med å videreutvikle denne typen modeller i Big Insight. Hvor kan Skatteetaten være i 2025? Forenklinger for næringslivet og bekjempelse av svart økonomi er blant Skatteetatens hovedsatsingsområder frem mot Ambisjonene er at næringslivet i fremtiden skal oppleve betydelig redusert byrde knyttet til å forstå og følge regelverket, og at de ikke taper konkurransen i markedet mot aktører som ikke følger spillereglene. Forventningene til tekniske løsninger og hvilke tjenester Skatteetaten kan tilby vil øke fremover. Skatteetaten ønsker å møte disse forventningene og har en ambisjon om at det i perioden frem mot 2025 er gjennomført omfattende fornyelser i tjenesteleveransene til borgere og næringsliv. Skatteetaten har en aktiv dialog med sentrale aktører i næringslivet og deres organisasjoner, rådgivere, system- og tjenesteleverandører, samt tredjeparter som banker/finansinstitusjoner og andre myndigheter. Fremover vil Skatteetaten få en rekke nye datakilder og større datamengder. For å kunne utnytte disse nye kildene vil det ofte kreve nye og mer avanserte analysemetoder og kompetanse. Skatteetaten ser på Big Insight som en viktig samarbeidspartner for å utvikle avanserte modeller og for å lære. Fremover vil fokus også rettes mot hvordan Skatteetaten kan utvikle modeller som kan gjøre etatens veiledning og det forebyggende arbeidet mer effektiv. Å forenkle rapporteringen og sørge for god og riktig informasjon, er effektive virkemidler for å øke etterlevelsen av regelverket (Park og Huyn, 2003). Kopczuk (2006) argumenterer for at komplekse systemer og manglende kunnskap om regelverk kan øke risikoen for unndragelser, både fordi det er lettere å gjøre feil ubevisst, og fordi noen kan forsøke å utnytte kompleksiteten i regelverket. I tillegg blir forenklinger sett på som et mindre

5 ressurskrevende virkemiddel for å øke regeletterlevelsen, sammenliknet med å øke risikoen for å bli oppdaget. I 2016 lanserte Skatteetaten en ny melding for næringsdrivende med enkle forhold som har fått navnet «Næringsrapport skatt». Denne løsningen er ment for næringsdrivende med enkle forhold, og er først og fremst for de som driver egen bedrift og rapporterer til Skatteetaten selv. Skatteetaten skal sammen med Big Insight se på muligheten for å brukertilpasse informasjon i løsningen gitt sannsynligheten for at en bruker har behov for informasjon/veiledning i forbindelse med utfylling og levering. Det registreres cirka virksomheter inn i Merverdiavgiftsregisteret per år i Norge. Skatteetaten ønsker innenfor Big Insight å få utviklet metodikk som kan angi risiko for fremtidig svindel eller unndragelser allerede på det tidspunktet Skatteetaten mottar en søknad om registrering. Et mål er å sile ut de som har høy risiko, og underlegge dem en grundigere manuell saksbehandling. Samtidig er det et mål å utvikle en modell som kan verifisere at det er lav eller ingen risiko, slik at disse kan inngå i helautomatiserte eller forenklede løp. På denne måten kan en modell på dette området bidra til betydelig forenkling for de fleste, og en mere effektiv kamp mot økonomisk kriminalitet. Utfordringer Maskinlæring, kunstig intelligens og stordata er populære metoder, men hverken bør eller kan brukes ukritisk (se blant annet Teknologirådet (2015) og Teknologirådet (2017)). Vi har allerede diskutert problemet med svarte bokser. Maskinlæring og kunstig intelligens fokuserer på å forutse og predikere. Mer tradisjonelle statistiske metoder for å forstå og forklare er fortsatt aktuelle, men er mer krevende å bruke med store datamengder. Etter vår mening, er det at forklaringsvariable typisk samvarierer et underkommunisert problem som kan resultere i feilaktige tolkninger av modeller. Dersom alder og inntekt øker i takt, kan det bli tilfeldig om en modell legger mest vekt på alder eller inntekt. Det er uproblematisk dersom vi kun er interessert i en best mulig prediksjon, men ikke hvis målet er å forklare utfallet. Verre er det med skjeve data, bygget på fordommer eller en uheldig saksbehandlingspraksis. En modell som trenes opp på slike data kan gjenskape, og til og med forsterke, disse fordommene på en automatisert måte. Dette er en vanlig kritikk av bruk av modeller til kontrollformål. Til dette har vi to hovedinnvendinger. For det første er det uheldig, umoralsk og kanskje lovstridig å skape systemer som gjenskaper eller forsterker utilsiktede skjevheter og fordommer. Alternativet til å bruke modeller til kontrollformål, som vi har diskutert i denne artikkelen, er imidlertid en mer manuell, gammeldags saksbehandling. Tradisjonell saksbehandling kan være veldig personavhengig, slik at samme forhold kan være gjenstand for ulik behandling. Det kan også være vanskelig å undersøke hva som ligger til grunn for tidligere avgjørelser på en systematisk måte når saksbehandlingen er personavhengig. Å bruke modeller gjør det derfor mulig å avdekke og korrigere disse eventuelle skjevhetene eller fordommene, ved å se inn i den svarte boksen som tradisjonell saksbehandling utgjør. For det andre er det en vesensforskjell på helautomatiserte og halvautomatiserte saksbehandlingsløp. De som berøres av et helautomatisert løp vil i større grad ha krav på en forklaring av hva modellen baserer sin beslutning på enn i et halvautomatisert løp. Ved bruk av modeller til å plukke ut saker til kontroll av mva.-pliktige næringsdrivende, vil løpet være halvautomatisert eller forenklet, ved at det til syvende og sist er en eller flere saksbehandlere som vurderer og undersøker en sak. Modellenes oppgave er å plukke ut saker med høy risiko og å forberede saken ved å gi saksbehandleren hint om hva som gjør denne saken spesiell. Gode modeller vil dessuten hindre at skattytere med lav risiko for avvik kontrolleres unødig. Oppsummering Big Insights mål er tredelt: 1) grunnforskning på metoder for å løse viktige problemer, som deteksjon av svindel, 2) innovasjon gjennom at partnerne, som Skatteetaten, tar i bruk

6 metodene og 3) kompetanseutvikling av alle som deltar i Big Insight, spesielt utdanning av nye kandidater med master- eller doktorgrad innenfor Big Insights fagområder. Big Insight vil bidra til å oppfylle Skatteetatens mål for forenklinger for næringslivet og bekjempelse av svart økonomi fram mot Maskinlæring, kunstig intelligens og stordata er i vinden, men løser ikke alle problemer. Hovedformålet med samarbeidet mellom Skatteetaten og Big Insight er å målrette veiledning, informasjon og kontrollutvelgelse så mye som mulig. Innenfor kontrollvirksomheten vil modeller være en god støtte for saksbehandleren i vurderingen om en skattyter skal kontrolleres. Innenfor kommunikasjon og veiledning kan modeller være viktige i den strategiske planleggingen. Referanser Baesens, B., Vlasselaer, V. van og Verbeke, W. Fraud Analytics. Using Descriptive, Predictive, and Social Network Techniques. A Guide to Data Science for Fraud Detection. Wiley, New York, doi: / Big Insight 2017 «Annual report 2016». Bolton, R.J. og Hand, D.J. «Statistical Fraud Detection: A Review». Statistical Science (2002) Vol. 17, No. 3, doi: /ss/ Hussain, S., Berset, A. og Paulsen P.A. «Modeller for effektiv utvelgelse av omsetningsoppgaver til kontroll». Skatteetatens Analysenytt (2015) 1/2015, Kopczuk, W. «Tax Simplification and Tax Compliance: An Economic Perspective», i M. Sawicky (red.). Bridging the Tax Gap. Addressing the Crisis in Tax Administration. USA: Economic Policy Institute Kvamme, H., Sellereite, N., Aas, K. og Sjursen, S. «Credit scoring by deep learning on time series». Sendt inn til Journal of Banking and Finance (2017). Park, C. og Huyn, J. K. «Examining the determinants of tax compliance by experimental data: a case of Korea», Journal of Policy Modeling (2003) Vol. 25, Issue 8: doi: /s (03) Ribeiro, M.T., Singh, S. og Guestrin, C. «Why Should I Trust You?: Explaining the Predictions of Any Classifier». Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, doi: / Teknologirådet 2015 «Forutseende politi Kan dataanalyser hjelpe politiet til å være på rett sted til rett tid?». Rapport 4/2015 Teknologirådet. Teknologirådet 2017 «Personvern 2017 Persontilpassing og kunstig intelligens». Rapport Teknologirådet. Thorsager, M., Olsen, Ø. og Foss, C «Prediktiv modell gir høy treffprosent på kontroll av selvangivelser». Skatteetatens Analysenytt 1/2016, Noter

7 1 Se for eksempel Datatilsynets oppsummering av de nye personvernreglene: 2 Vi tar sikte på at metodene som blir utviklet i Big Insight publiseres i anerkjente tidsskrifter, så alle som vil kan ta dem i bruk.