Meet Norway s first robot journalist

Transkript

1 Meet Norway s first robot journalist Magnus Aabech, NTB news developer, sept 2016 Magnus Aabech, news developer NODA 2017

2

3 By 2018, 20 percent of all content will be authored by machines Robbie Allen, Founder & CEO, Automated Insight

4 Why automate news? Photo: Shutterstock/ NTB scanpix Faster Every second counts online! Broader Every event is important to someone somewhere More accurate Robots don t do the same mistake twice

5 What is an editorial robot? Foto: Science Photo Library / NTB scanpix

6 1 Foto: Klara G / Bildhuset / NTB scanpix

7 2 Next level Algorithms that generate natural language med utgangspunkt i en stor variasjon av ord og vendinger som velges ut etter bestemte kriterier. Foto: maxuser / Shutterstock / NTB scanpix

8 Machine learning Foto: Science Photo Library / NTB scanpix

9 40 years of Natural Language Generation: 2016 Many players

10 NTB s football robot Data source NTB football live app Historical database owned by NTB Templates, coaching & language tuning NTB sports reporters NLG Natural Language Generation Bakken&Bæck: orbit.ai

11 NLG engine: januar 27,

12 Input data: Match tree haspersonyellowcards 1 Stabæk hometeamstanding homescorefinal hometeam team firstgoal lastgoal lastloss Odd awayteam awayscorefinal Match hasperiod First Period Second Period hasteamgoals hasgoals lastwin lasthomenotwin awayteamstanding person Fredrik Nordkvelle time 5 GoalEvent personlastgoalseason finalgoalperson true goals 2

13 Engine data: Term tree Title Ingress Main body First Half Intro Summary? Important Events Red card Goal overtime goal increase lead winning goal Own-goal Article Outro Summary? Second yellow card Second Half Post-script Stats? Final results? Conclusion Yellow cards League context Referee Spectators Next matches points table position

14 Bentley scored the winning goal when Odd beat Stabæk 2-1

15 Development process:

16 Algorithms will do exactly as you tell them but you have to tell them everything Andy Myers, automation editor Associated Press (AP)

17 Level 1: VIKING SLO STABÆK Mock-up Til pause sto det 1-1. Viking vant til slutt 2-1. For Viking scoret André Danielsen. For Stabæk scoret Luc Kassi. Karol Mets fikk gult kort. Kristoffer Haugen fikk rødt kort så kampen på Viking stadion. Foto: Johner/ NTB scanpix

18 Level 2: VIKING SLO STABÆK Mock-up Viking slo Stabæk 2-1. Det var hjemmelagets fjerde seier på rad denne sesongen. André Danielsen scoret etter 11 minutter. Luc Kassi satte ballen i mål etter 24 minutter. André Danielsen scoret kampens siste mål etter 70 minutter. Karol Mets fikk gult kort da det var spilt en halv time i andre omgang. Kristoffer Haugen fikk rødt kort etter 78 minutter så kampen på Viking stadion.

19 Level 2: VIKING SLO STABÆK Mock-up Viking slo Stabæk 2-1. Det var hjemmelagets fjerde seier på rad denne sesongen. André Danielsen scoret etter 11 minutter. Luc Kassi satte ballen i mål etter 24 minutter. André Danielsen scoret kampens siste mål etter 70 minutter. Karol Mets fikk gult kort da det var spilt en halv time i andre omgang. Kristoffer Haugen fikk rødt kort etter 78 minutter så kampen på Viking stadion.

20 Level 3: NY SEIER FOR VIKING Mock-up Viking fikk med seg alle poengene da Stabæk ble slått 2-1 i eliteserien i fotball for menn søndag. Det var rogalendingenes fjerde seier på rad denne sesongen. Etter tre seirer på rad ble seiersrekken brutt for Stabæk. André Danielsen sendte hjemmelaget i ledelsen etter 11 minutter, mens Luc Kassi utlignet for Stabæk etter 24 minutter. Danielsen ble matchvinner da han fant nettmaskene i det 70. minutt tilskuere fulgte kampen på Viking stadion. Viking møter Start i Kristiansand i neste kamp, mens Stabæk tar imot Rosenborg på Nadderud stadion.

21 Level 3: NY SEIER FOR VIKING Mock-up Viking fikk med seg alle poengene da Stabæk ble slått 2-1 i eliteserien i fotball for menn søndag. Det var rogalendingenes fjerde seier på rad denne sesongen. Etter tre seirer på rad ble seiersrekken brutt for Stabæk. André Danielsen sendte hjemmelaget i ledelsen etter 11 minutter, mens Luc Kassi utlignet for Stabæk etter 24 minutter. Danielsen ble matchvinner da han fant nettmaskene i det 70. minutt tilskuere fulgte kampen på Viking stadion. Viking møter Start i Kristiansand i neste kamp, mens Stabæk tar imot Rosenborg på Nadderud stadion.

22 Barmen-dobbel for Brann Foto: Shutterstock / NTB scanpix Bodø (NTB): Kristoffer Barmen scoret to ganger og hjalp Brann til 3-1-seier over Bodø/Glimt i eliteserien søndag. Etter 13 minutter tok Brann ledelsen ved Barmen, men fem minutter senere utlignet Fitim Azemi for Glimt. Det var 24- åringens niende mål for sesongen. Ved pause sto det 1-1. Brann tok ledelsen på nytt ved Jakob Orlov tre minutter etter pause, og Barmen scoret sitt andre mål i kampen da han gjorde 3-1 sju minutter senere. Bodø/Glimts Vadim Manzon, Martin Bjørnbak, Daniel Edvardsen og Mathias Normann pådro seg gult kort. For Brann fikk Azar Karadas, Fredrik Haugen, Kristoffer Barmen, Bismar Acosta, Deyver Vega og Daniel Braaten gult kort. Espen Eskaas var kampleder på Aspmyra stadion.. Bodø/Glimt spiller neste kamp mot Stabæk 26. september, og Brann møter Tromsø dagen før.

23 Ny seier for Rosenborg Trondheim (NTB): Start måtte se seg slått 2-0 av Rosenborg i eliteserien i fotball for menn. Start har gått poengløse av banen tre kamper på rad. Verken Rosenborg eller Start maktet å score i første omgang. Rosenborg tok ledelsen da Christian Gytkjær scoret da det var spilt ett kvarter av andre omgang. 26-åringen står med 14 mål i år. RBKs Erlend Dahl Reitan scoret på straffe ett minutt før full tid. Det var Rosenborgs sjette seier på rad. Johan Lædre Bjørdal (Rosenborg) og Eirik Wichne (Start) fikk begge gult kort. Oppgjøret på Lerkendal stadion ble ledet av Kai Erik Steen tilskuere var til stede på kampen. Rosenborg møter Molde 24. september, og Start spiller neste kamp mot Haugesund dagen etter.

24 Lundemo reddet poeng for Lillestrøm Stavanger (NTB): Marius Lundemo sikret poeng for Lillestrøm med en sen utligning i 2-2-kampen mot Viking i eliteserien i fotball søndag. Viking har ikke tatt tre poeng på fire kamper. André Danielsen ga Viking ledelsen etter 18 minutters spill, men to minutter senere scoret Erling Knudtzon for Lillestrøm. Målet gjør at 27-åringen står med fire scoringer denne sesongen. Julian Ryerson sendte Viking i ledelsen igjen etter 62 minutter, men sju minutter før slutt utlignet Lundemo for LSK. Lillestrøms Erling Knudtzon fikk gult kort. Trygve Kjensli var dommer i oppgjøret tilskuere var til stede på kampen på Viking stadion. Viking møter Brann 10. september, og Lillestrøm spiller neste kamp mot Odd dagen etter. Foto: Shutterstock / NTB scanpix

25 Brann senket av Haraldseid Haugesund (NTB): Haugesund hentet opp Branns 2-0-ledelse og vant 3-2 i eliteserien i fotball for menn lørdag. Brann tok ledelsen ved Kristoffer Barmen etter 28 minutters spill. 23-åringen står med tre mål denne sesongen. Steffen Lie Skålevik fant nettmaskene like etterpå. Haris Hajradinović (Haugesund) scoret på straffe etter 35 minutter, og ett minutt på overtid i første omgang utlignet William Troost-Ekong. Kristoffer Haraldseid ble matchvinner med sin scoring ni minutter før slutt. Haugesunds Haris Hajradinović fikk se det gule kortet. For Brann fikk Sivert Heltne Nilsen, Ruben Kristiansen, Steffen Lie Skålevik, Vadim Demidov og Kristoffer Barmen gult kort. Kampen ble dømt av Trond Ivar Døvle tilskuere bivånet oppgjøret på Haugesund stadion. Brann møter Viking 10. september, og Haugesund spiller neste kamp mot Molde dagen etter.

26 Bentley sikret seieren for Odd Foto: Shutterstock/ NTB scanpix Skien (NTB): Bentley ble matchvinner for Odd i 2-1-seieren over Strømsgodset på Skagerak Arena i eliteserien i fotball for menn søndag. Fredrik Nordkvelle (Odd) scoret fra ellevemeteren etter kun to minutter. Tokmac Nguen utlignet for Strømsgodset etter 36 minutters spill. Målet gjør at 22-åringen har tre fulltreffere denne sesongen. Bentley avgjorde med sin scoring etter 73 minutter. Strømsgodset måtte fullføre kampen med ti mann etter at Francisco Júnior ble sendt av banen ti minutter senere. Odd har vunnet sine siste tre hjemmekamper. Odds Fredrik Oldrup Jensen og Rafik Zekhnini pådro seg gult kort. For Strømsgodset fikk Mohammed Abu, Tommy Høiland og Marcus Pedersen gult kort. Francisco Júniors utvisning var Strømsgodsets andre røde kort denne sesongen. Etter søndagens runde har Odd 27 poeng og Strømsgodset 23 poeng. Dag Vidar Hafsås var dagens dommer tilskuere fikk med seg oppgjøret. Odd spiller neste kamp mot Vålerenga 3. juli, og Strømsgodset møter Aalesund dagen etter.

27 Challenges Language Mistakes Credibility? Staff resistance? Foto: Shutterstock / NTB scanpix

28 Mistakes

29 Credibility

30 Foto: Shutterstock/ NTB scanpix

31 Statistics Mock-up

32 Mock-up (changerisefall) i lakseprisen (datelinenational) (NTB): Prisen på fersk laks (changerisesinkpasttense) til (numbernominal) kroner per kilo sist uke. Det er en (changerisefall) på (numberchange) kroner fra uken før. Siden nyttår har prisen (changerisesinkpresentperfecttense) med (numberpercentageyear) prosent. Frossen laks hadde en (changeupdown2) på (frozennumberchangeweek). Prisen er nå (frozenprice) kroner per kilo. Det ble eksportert (numberkilo) fersk eller kjølt oppdrettslaks. For frossen laks var tallet (frozennumberkilo). I (recordweek) var lakseprisene på sitt høyeste nivå noensinne. Da lå prisen på (recordprice) per kilo. Laveste prisnivå siden 2000 er på (lowestprice) fra (worstweek). Økning i lakseprisen Oslo (NTB): Prisen på fersk laks steg til 72,32 kroner per kilo sist uke. Det er en økning på 5,75 kroner fra uken før. I løpet av året har prisen økt med 12,5 prosent. Frossen laks hadde en nedgang på 2,35 kroner. Prisen er nå 65,27 kroner per kilo. Det ble eksportert tonn fersk eller kjølt oppdrettslaks. For frossen laks var tallet 400 tonn. I uke 27 var lakseprisene på sitt høyeste nivå noensinne. Da lå prisen på 70,96 kroner. Laveste prisnivå siden 2000 er på 13,50 kroner fra uke 19 i 2004.

33 A robot covering the election? Foto: Vegard W. Grøtt / NTB scanpix

34 Example county level: Mock-up HØYRE MEST FRAM I FINNMARK Kirkenes (NTB): Høyre går forbi Arbeiderpartiet og ligger an til å bli største parti i Finnmark, ifølge prognosen etter at 17,8 % av stemmene er talt opp. Høyre gjør sitt beste valg siden 1972 og får 33,2 prosents oppslutning. Det gir to nye stortingsmandater. Mens Arbeiderpartiet mister ett og Senterpartiet faller ut. Et endelig resultat i tråd med denne prognosen vil gi følgende sammensetning av Finnmarksbenken på Stortinget: - Høyre: Nils Nilsen, Hanne Hansen, Jenny Jensen, Kari Karlsen og Per Pettersen. - Arbeiderpartiet: Nils Nilsen, Ola Olsen - Fremskrittspartiet: Even Evensen Det mest utsatte mandatet tilhører på dette tidspunkt Høyres Per Pettersen. Senterpartiets Line Larsen mangler 815 stemmer på å erobre denne plassen.

35 How to get started a checklist Structured data Output Value Foto: Klara G / Bildhuset / NTB scanpix

36 We are a long way 20 years out from strong AI: The capability to understand connections and consequence that is necessary to produce real journalism Kathryn Hume, Fastforwardlabs NYC Medialab Center for the recently possible

37 Questions? Magnus Aabech, news developer NTB Phone: Photo: Shutterstock/ NTB scanpix