Privat overnatting: Innhenting av data fra Airbnb Publisert: September 2015 Evgueni Vinogradov Arbeidsnotat nr.: 1014/2015 ISSN-NR: 0804-1873
ARBEIDSNOTAT ARBEIDSNOTAT NR: ISSN-NR: PROSJEKTNUMMER: ANTALL SIDER: 1014/2015 0804-1873 1370 13 FORFATTER(E): Evgueni Vinogradov 30,- SALGSPRIS NOK: Privat overnatting: Innhenting av data fra Airbnb Nordlandsforskning AS Tlf: +47 75 41 18 10 Postboks 1490 nf@nforsk.no N-8049 Bodø www.nordlandsforskning.no Norge Bankkonto 4500 55 98811 Besøk: Universitetsalleen 11 Foretaksregisteret NO/VAT nr 989 714 309 MVA
FORORD I 2014 gjennomførte Nordlandsforskning et prøveprosjekt som hadde som mål å prøve å innhente data fra Airbnb. Airbnb er en nettbasert markedsplass for privat utleie/leie av overnatting over hele verden. Omfanget av slik utleie i Nord-Norge er lite kjent. Som et prøveprosjekt ble det utviklet at program som samlet data for alle Airbnb utleiesteder for Nord-Norge. Den resulterende databasen inkluderer data for 217 nordnorske hus/hybler som hadde plass til over 900 personer. Pilotprosjektet viste at det er mulig å finne tekniske løsninger for automatisk nedlasting av slike overnattingsdata. I dette arbeidsnotatet beskrives bakgrunn for prosjektet, den valgte pilotløsningen og perspektiver for videreutvikling. Prosjektet er finansiert av Nordland fylkeskommune innenfor det pågående Reiselivsbarometerprosjektet som drives av Nordlandsforskning og Høgskolen i Buskerud og Vestfold. 1
INNHOLD FORORD... 1 1 INNLEDNING... 3 2 DATA SOM KAN HENTES INN FRA AIRBNB... 5 3 TEKNISKE LØSNINGER... 7 4 DATA FRA PILOTPROSJEKTET OG MULIG BRUK AV DATAENE... 9 5 BEGRENSNINGER... 10 6 JURIDISKE ASPEKTER... 11 7 MULIGHETER FOR VIDEREUTVIKLING... 12 REFERANSER... 13 2
1 INNLEDNING Overnattingstrafikk er en viktig del av norsk reiseliv. Dagens overnattingsstatistikk baseres på data fra SSB og omfatter hotell og andre overnattingsbedrifter, camping, hyttegrender, samt medlemsbedrifter i Norske Vandrerhjem. Statistikken omfatter bedrifter med 10 sengeplasser eller mer. Data innsamles via postalt innhentet papirskjema og online rapportering. Statistikken er offentlig tilgjengelig på regional nivå. Den offisielle statistikken inkluderer ikke overnattinger utenfor de overnevnte overnattingsbedrifter som ofte kan være organisert via sosiale media eller online markedsplass for utleie. Direkte person-til-person utleie til turister via nettet er en økende trend i verden og ikke minst i Nord-Norge. Det finnes flere aktører innenfor dette utleiemarkedet. De mest kjente er Airbnb, Coachsurfer.com, wimdu.no, homeaway.no og villas.com, men andre aktører kan også finnes. Vi har i dette prosjektet valgt å se nærmere på Airbnb som er en ledende aktør i det private utleiemarkedet. Airbnb ble grunnlagt i august 2008 og basert i San Francisco, California. Airbnb er en betrodd markedsplass for folk som ønsker å leie ut og bestille overnattinger rundt om i verden - på nett eller fra en mobiltelefon. I 2014 omfattet Airbnb over 1 mill. utleiesteder i mer enn 34 000 byer i 190 land. En hurtigsjekk viste følgende antall registrerte utleiesteder i utvalgte norske byer i 2014 og 2015: Tabell 1 Antall overnattingssteder på Airbnb By Antall overnattingssteder Vekst Juni 2014 Juni 2015 ( %) Bodø 13 24 85 Trondheim 50 212 324 Tromsø 113 436 286 Stavanger 120 399 232 Bergen 417 885 112 Oslo mye mer enn 1 000 - For tiden finnes det verken komplett oversikt over eller vurdering av omfanget av uorganiserte overnattinger. Det finnes ingen opplysninger om hvem som velger å bestille overnatting via Airbnb eller hva som leies ut. Dette prosjektet sikter på å teste teknologier for å innhente data fra Airbnb om utleiemuligheter og kunder i Nord-Norge. 3
Databasen kan brukes for å se på hva som leies ut via Airbnb i Nord-Norge og hvem som er gjester og brukere for tjenesten. Databasen kan i framtiden oppdateres automatisk slik at helt oppdaterte data er alltid tilgjengelig for analyser. 4
2 DATA SOM KAN HENTES INN FRA AIRBNB I databasen som ble utviklet kan det hentes inn opplysninger fra nettet om verten, gjesten og overnattingsenheten. Verten Databasen inkluderer følgende informasjon om verten: navn, generell selvbeskrivelse, og når han/hun ble medlem i Airbnb. Gjesten Det kan hentes følgende informasjon om gjester/kunder: by og land de kommer fra, når de ble medlem i Airbnb, og (ikke for alle gjester), utdanning, arbeidsgiver, språk og selvbeskrivelse. Selvbeskrivelser har varierende lengde for ulike kunder og inkluderer ofte yrke og fritidsinteresser. Overnattingsenheten Informasjon om overnattingsenheter som kan innhentes fra Airbnb inkluderer: Adresse og generell beskrivelse, Type bolig antall bad, soverom, sengeplasser, plass til hvor mange personer, Priser per natt, uke eller måned; per pers., rom, og ekstra pers. Fasiliteter dyr tillatt, tv, kabel-tv, internett, trådløst internett, air condition, varme, heis i bygningen, adkomst for rullestoler, svømmebasseng, kjøkken, gratis parkering på stedet, dørvakt, treningssenter, badestamp, innendørs peis, dørtelefon/åpner, frokost, familie-/barnevennlig, passende til selskaper, vaskemaskin, tørketrommel, brannvarsler, co-varsler, førstehjelpsutstyr, sikkerhetskort, brannslokkingsapparat Kanselleringsbetingelser Spesifikke husregler 5
Evalueringer på 0-10 skala (vises ikke på nettet): overall guest satisfaction, accuracy, cleanliness, check-in, communication, location og value, Tilbakemeldinger fra besøkende. 6
3 TEKNISKE LØSNINGER I dette prosjektet ble et dataprogram utviklet. Helt uten menneskelig tilsyn går programmet gjennom følgende steg: 1. Går på nettet og videre til nettsiden til Airbnb, 2. Velger forskjellige byer/tettsteder på Airbnb og søker for tilsvarende overnattingsmuligheter, 3. Laster ned opplysninger om hvert overnattingssted, utleier og leietaker. Hvis det kommer et nytt utleiested eller en ny person, lagres data i databasen. Ellers lagres bare oppdatert informasjon, 4. Ved hjelp av unike ID sjekkes det at ingen utleiested eller person vises mer enn en ganger i statistikken, 5. En oppdatert database lagres på en lokal PC. Det finnes flere tekniske løsninger for automatisert innsamling av informasjon fra nettet. Innhenting og lagring av informasjon fra internett heter web-scraping. En kan enten bruke eksisterende software for web-scraping eller utvikle eget kode på et av eksisterende programmeringsspråk. RapidMiner er, for eksempel, relativt brukervennlig program som tillater brukere å lage egne prosedyrer for innsamling, lagring og analyse av informasjon fra nettet. Fordeler med slike løsninger er at det finnes et stort antall ferdige moduler som kan kombineres sammen på forskjellige måter avhengig av oppgavens spesifikasjoner. Den minimale pakken er gratis. Ulemper ved bruk av RapidMiner og andre tilsvarende kommersielle løsninger er at brukeren må betale for tilleggsfunksjoner som er ikke nødvendige for et lite pilotprosjekt, men kan være uunngåelige ved utvikling av systemer beregnet for regelmessig innhenting av store mengder data fra nettet. Det tar også lang tid til å bli kjent med denne typen spesialisert software. I dette pilotprosjektet ble egen kode utviklet i programmeringsspråket Python. Dette språket brukes ofte kommersielt og i forskningsmessig sammenheng for eksempel av Yahoo, Google, NASA, IBM Los Alamos National Laboratory (LANL) Theoretical Physics Division, osv. Fordeler med å lage egen programvare er stor fleksibilitet og nesten ubegrenset valg av funksjoner. Pyton er ikke et kommersielt produkt og det koster ingenting å bruke det. Generelle kunnskaper om object-orientert programmering er tilstrekkelige for å lage et program for web-scraping. Selve programkoden og data som genereres ved web-scraping kan plasseres på en lokal PC eller på en server. I dette prosjektet var lokal PC brukt og et større prosjekt beregnet for fult automatisk og systematisk innhenting av data kan i utgangspunkt implementeres på denne måten. Likevel, bruk av en surver gir mye mer robust løsning. Da blir systemet uavhengig av 7
om en PC er slått på eller av. Alle oppdateringer og datanedlasting kan gjøres fra hvilken som helst arbeidsstasjon. I nåværende form må dataprogrammet startes av en forsker hver gang det er behov for hente inn oppdatert informasjon. Det er fullt mulig å justere programmet slik at datainnhentingen foregår automatisk på forhåndsbestemte tidspunkter. Videreutvikling kan også inkludere et system som skal sende ut periodiske status rapporter og varslingsmeldinger. 8
4 DATA FRA PILOTPROSJEKTET OG MULIG BRUK AV DATAENE Det gjennomførte pilotprosjektet viste at det var 217 hus/hybler med overnattingsplass til over 900 personer i Nord-Norge per juni 2014. Gjennomsnittsutleiepris var på kr. 1025 per natt. Basert på aggregering av data om enkelte overnattingsenheter kan følgende statistiske analyser utformes: Oversikt over enheter som leies ut på en bestemt destinasjon for turister. Kapasitetsberegning: o Hvor stort tilbudet i markedet er (antall overnattingsplasser). Regionale forskjeller. o Sammenligning med andre relevante land, regioner og destinasjoner. Oversikt over kundene: o Hvor de kommer fra, hva de jobber med og fritidsinteresser. På aggregert nivå: o Analyse av trender for prisnivå, type og antall overnattingssteder og sesongvariasjoner. På individ/enhet nivå: o Analyse av relasjoner mellom antall overnattinger og boligtype, plassering etc. Data kan rapporteres helt ned til et bosted eller på destinasjonsnivå som kan være spesielt relevant for reiselivet. 9
5 BEGRENSNINGER Innhenting av data fra nettsidene til Airbnb medfører noen begrensninger: Det er ikke mulig å skille mellom betalte overnattinger registrert og tilfeller når verten bruker overnattingstedet for egne formål og registrerer dette som «utilgjengelig». Er et overnattingsted reservert for en måned, kjenner vi ikke til om månedlig eller daglig/ukentlig pris ble brukt. Vi vet ikke hvor mange personer som faktisk bodde på et sted og om betaling for ekstra personer ble tatt. Programmet innhenter informasjon om et overnattingssted er utleid eller ledig på den aktuelle dagen. Hvis data er hentet inn på dagen og et sted var leid ut seint på kvelden, blir dette uregistrert i systemet. Noe av usikkerheten kan delvis reduseres ved å se lengre framover i tid. Ser man på reservasjoner for hvert overnattingssted i en måned framover, kan man observere hvordan reservasjoner registreres. En dag kan man oppdage at en enhet som var helt ledig i en måned framover ved siste sjekk ble utleid for, for eksempel, en uke eller en måned framover. Hvis et sted gradvis ble utleid, kan dette tyde på at månedlig pris ikke var aktuell. 10
6 JURIDISKE ASPEKTER Internettsøk og gjennomgang av relevante steder i Norge og i resten av verden ble gjennomført for å sjekke om det var lovlig å innhente offentlig tilgjengelige data ved hjelp av roboter. Norske og internasjonale lover dekker ikke spørsmålet så langt vi kan se det. Vi har ikke klarte å finne relevante lover og regler. På den annen side er innhenting av informasjon med skadelige formål ulovlig. Vi fant ingen krav om at det var nødvendig å spørre Airbnb om tillatelse til å innhente data. Airbnb har heller ikke opprettet noen tekniske hindringer mot roboter noe som kan tolkes som at en ikke er opptatt av problematikken. På verdensbasis innhentes det data for forskningsformål via roboter. Så langt vi kjenner til det er det ikke funnet noen tilfeller hvor slik datainnhenting har resultert i klager. Resultater av slike datainnhentingsprosjekter er publisert i internasjonale tidsskrifter 1. 1 Fuchs M, Hopken W and Lexhagen M. (2014) Big data analytics for knowledge generation in tourism destinations - A case from Sweden. Journal of Destination Marketing & Management 3: 198-209, Wood SA, Guerry AD, Silver JM, et al. (2013) Using social media to quantify nature-based tourism and recreation. Scientific Reports 3. 11
7 MULIGHETER FOR VIDEREUTVIKLING Framgangsmåten/koden fra pilotprosjektet beskrevet foran kan videreutvikles for å hente inn informasjon automatisk og regelmessig om private overnattinger i Nord-Norge eller andre regioner. Datainnhenting kan for eksempel skje automatisk hver dag eller hver uke. Plassering av tjenesten på en server i stedet for lokal PC kan vurderes. I framtiden kan prosjektet videreutvikles for å inkludere andre nettbaserte tjenester i tillegg til Airbnb. De aktuelle tjenester inkluderer Couchsurfing.com, wimdu.no, homeaway.no og villas.com, men andre muligheter kan eksistere. Systemet kan også utvides til å inkludere flere regioner i Norge eller i andre land. I framtiden blir det også viktig å finne ut hvordan relevante data kan bli integrert i framtidige statistikkdatabaser og styringssystemer for reiselivet, for eksempel i Reiselivsmonitoren. 12
REFERANSER Fuchs M, Hopken W and Lexhagen M. (2014) Big data analytics for knowledge generation in tourism destinations - A case from Sweden. Journal of Destination Marketing & Management 3: 198-209. Wood SA, Guerry AD, Silver JM, et al. (2013) Using social media to quantify nature-based tourism and recreation. Scientific Reports 3. 13