AB testing Ta riktigere beslutninger basert på brukernes valg 21.11.2012 MAKING WAVES 2
AB testing på visitnorway Litt om meg Litt om visitnorway AB testing - Eksempler og erfaringer Fremtidsplaner Spørsmål og svar 21.11.2012 MAKING WAVES 3
AK 21.11.2012 MAKING WAVES 4
Visitnorway Kort om Visitnorway 13 markedsversjoner 1-1,5 million besøk/måned 100.000 sidevisninger/dag 21.11.2012 MAKING WAVES 5
Vasaskipet 6
Brukerinnsikt 7
Hva vi gjør for å få brukerinnsikt Optima undersøkelse (spørreundersøkelser og fokusgrupper) som ligger til grunn for reiselivs-strategier Spørreundersøkelser på nett Brukertester (store/små og innland/utland) Intervjuer/observering Søkelogger Webanalyse Google Analytics Webtrends Analyse av bruksmønster Mouseflow (User session recordings) Click Density (Click/heat maps) Event tracking i Google Analytics Visual website optimizer (AB testing) 8
Hvorfor AB tester vi? FØR Testing av hypoteser UNDER optimalisering ETTER Verifisering (optimalisering) Behov Prioritering Bestilling Analyse Design & Utvikling Slipp det løs 9
21.11.2012 MAKING WAVES 10
AB testing Innkjøpt Visual website optimizer - Januar 2012 30 000 besøk/måned Støtter AB testing Multivariate Split URL testing Heatmaps & Clickmaps Conversion tracking Styringsverktøy med reell brukerdata
AB testing Innhold Rask og umiddelbar tilbakemelding på alternative tekster på redaksjonelt innhold Andre parametre som må kontrolleres for å bekrefte testresultatet (f.eks: bounce rate, tid på side m.m) Lokal testing for å avdekke kulturelle forskjeller Kjøreregler 1. Unngå samtidig testing på samme funksjonalitet. 2. Ikke gjøre flere innholds-endringer på de samme sider samtidig. 3. Vurder trafikkmengde for å unngå overforbruk av visitors. (Juster andel trafikk for test) 4. Stopp i tide.
21.11.2012 MAKING WAVES 15
AB testing Funksjonalitet Endring av eksisterende elementer i designprosessen (f.eks. lenker, ikonbruk, menyer, nyhetsbrev etc.) Test av nye elementer i designprosessen Andre parametre som må kontrolleres for å bekrefte testresultatet (f.eks: bounce rate, tid på side m.m) Verifisering av konsepter Kjøreregler 1. Unngå samtidig testing på samme funksjonalitet. 2. Ikke gjøre flere innholds-endringer på de samme sider samtidig. 3. Vurder trafikkmengde for å unngå overforbruk av visitors. (Juster andel trafikk for test) 4. Stopp i tide.
21.11.2012 MAKING WAVES 17
AB testing Noen eksempler 18
Eksempler Innhold og tekstelementer Design og layout Navigasjon og flyt 21.11.2012 MAKING WAVES 19
Innhold og tekstelementer 20
Toppmeny - Multivariate
Toppmeny ny test Periode: 13. april 30. april 2012
.NL Booking i toppmeny Økning fra 1,56% til 2,75% (13. april 19. april 2012)
Booking i toppmeny NB: Nye tester vil bli utført på alle versjoner for å verifisere resultater Version Conversio n before Conversion after Improvement Mean: 215% Change Booking to: COM 0,88% 1,23% 140% Booking (already changed) - Measured against: Book Online DK 1 1,65% 2,99% (3,66%) 181% (222%) Booking (change) FR 2 1,16% 2,79% 241% Réservations or Réservez en ligne (change) Not conclusive DE 0,49% 1,27% 259% Online Buchen (change) - Measured against: Booking IT 0,81% 1,75% 216% Per prenotare (change) NO 1,17% 2,50% 214% Bestilling (already changed) Measured against: Booking PL 0,88% 1,33% 151% Rezerwacja (change) RU 1,20% 2,13% 178% Бронирование (already changed) Measured against Booking ES 0,87% 1,66% 191% Reservas (already changed) Measured against: Booking SE 1,06% 3,08% 291% Boka (change) NL - - - Boekingen (change) Measured against: Book Online UK 0,33% 1,18% 357,6% Book Online 1 (change) Measured against: Booking US 0,73% 1,26% 172,6% Booking (already changed) Measured against: Book Online NB: Bounce rate på BookNorway er ikke målt
Artikkeltittel 25
Artikkeltittel Resultat Original vinner over alternativene 5,20% (23. februar 8. mars 2012) http://www.visitnorway.com/en/where-togo/fjord-norway/bergen/
Kart - alternative tekster 21.11.2012 MAKING WAVES 27
Kart - alternative tekster Resultat Kontroll Periode: 17. april 23. mai 2012 Kilde: http://v2.visualwebsiteoptimizer.com/reports/?test_id=62#details
Design og layout 29
Liste layout Links in body text Numbering and indentation Images and call to action www.visitnorway.com/en/where-to-go/east/oslo/what-to-do-in-oslo/attractions-in-oslo
Liste layout Resultat Økt fra 17,52% to 20,13% (16. mars 26. mars 2012)
Previews på ny forside A B C D 21.11.2012 MAKING WAVES 32
Artikkelvisning på forsiden A B C D Periode: 29. mars 15. mai 2012
ARTIKKELVISNING PÅ FORSIDEN NÅR KAN VI STOLE PÅ RESULTATET? Varierende trafikk 21.11.2012 MAKING WAVES 34
ARTIKKELVISNING PÅ FORSIDEN NÅR KAN VI STOLE PÅ RESULTATET? Akkumulert (stabilisert) 21.11.2012 MAKING WAVES 35
TESTING AV NYTT DESIGN MOT GAMMELT Ny mot gammel forside 21.11.2012 MAKING WAVES 36
FØRSTE TEST MED AVVIKENDE RESULTATER Ny mot gammel forside Resultater Periode: 6. november 15. november 2012 21.11.2012 MAKING WAVES 37
OPPSETT AV NY TEST MED SEGMENTER Ny mot gammel forside Resultater Periode: 15 november 20 november 2012 21.11.2012 MAKING WAVES 38
Navigasjon og flyt 39
Produktliste plassering 21.11.2012 MAKING WAVES 40
Inngang til listings Google Analytics: 1 mars 28 mars 2012.
Reelle innganger http://www.visitnorway.com/en/where-to-stay/cottages/
Siden er også tilgjengelig på. Tidligere versjon Periode (15 dager): 1. mai 15. mai 2012 Ny versjon (3%) Periode (15 dager): 15. mai 30. mai 2012 (1,8%)
Mobil: Kartinngang (Design) Ikon no. 2 gir 0,49 % klikk (22. mars 26. mars 2012) * * Minst tre konverteringer var fra team medlemmer.
NY FUNKSJONALITET: KOMBINERT MED SPØRREUNDERSØKELSE Mobil: kartinngang 1 2 3 Kartinngang Mobil (29. mars 16. mars 2012) «What did you expect when you click that icon?»
Erfaringer så langt 21.11.2012 MAKING WAVES 48
Kompleksitet Kompetanse Javascript og HTML Tekstendring Ny funksjonalitet 21.11.2012 MAKING WAVES 49
Prosess og andre ting å tenke på Teste oppsettet før det legges ut Oversikt over tester og status funn og erfaringer Rydde opp i eventuell kode etter test er ferdigstilt Custom conversion legges direkte i kode for testoppsett 21.11.2012 MAKING WAVES 50
Fallgruver Veiledende ikke fasit Måler vi de riktige tingene? Variasjoner i trafikk Til tider problemer med oppsett og JS på mer avanserte tester. Kan være vanskelig å vite om tall er basert på feil i oppsett, verktøy eller faktisk bruk prøv ut Full oversikt? lett og overse ting som ikke synes i verktøyet når testen settes opp Verifiser tall og data i Google analytics om mulig Avslutt når tallene har stabilisert seg Previews korrekt? 21.11.2012 MAKING WAVES 51
AB testing fremover 21.11.2012 MAKING WAVES 52
AB testing på visitnorway Innhold og tekstelementer Design og layout Navigasjon og flyt Måling av konverteringer - Langvarige behov > Event tracking i Google Analytics - Kortvarige behov > AB verktøy - Manglende baseline > AB verktøy 53
54 AB bidrar til å holde nettstedet flytende