AB testing. Ta riktigere beslutninger basert på brukernes valg MAKING WAVES 2

Transkript

1

2 AB testing Ta riktigere beslutninger basert på brukernes valg MAKING WAVES 2

3 AB testing på visitnorway Litt om meg Litt om visitnorway AB testing - Eksempler og erfaringer Fremtidsplaner Spørsmål og svar MAKING WAVES 3

4 AK MAKING WAVES 4

5 Visitnorway Kort om Visitnorway 13 markedsversjoner 1-1,5 million besøk/måned sidevisninger/dag MAKING WAVES 5

6 Vasaskipet 6

7 Brukerinnsikt 7

8 Hva vi gjør for å få brukerinnsikt Optima undersøkelse (spørreundersøkelser og fokusgrupper) som ligger til grunn for reiselivs-strategier Spørreundersøkelser på nett Brukertester (store/små og innland/utland) Intervjuer/observering Søkelogger Webanalyse Google Analytics Webtrends Analyse av bruksmønster Mouseflow (User session recordings) Click Density (Click/heat maps) Event tracking i Google Analytics Visual website optimizer (AB testing) 8

9 Hvorfor AB tester vi? FØR Testing av hypoteser UNDER optimalisering ETTER Verifisering (optimalisering) Behov Prioritering Bestilling Analyse Design & Utvikling Slipp det løs 9

10 MAKING WAVES 10

11 AB testing Innkjøpt Visual website optimizer - Januar besøk/måned Støtter AB testing Multivariate Split URL testing Heatmaps & Clickmaps Conversion tracking Styringsverktøy med reell brukerdata

12 AB testing Innhold Rask og umiddelbar tilbakemelding på alternative tekster på redaksjonelt innhold Andre parametre som må kontrolleres for å bekrefte testresultatet (f.eks: bounce rate, tid på side m.m) Lokal testing for å avdekke kulturelle forskjeller Kjøreregler 1. Unngå samtidig testing på samme funksjonalitet. 2. Ikke gjøre flere innholds-endringer på de samme sider samtidig. 3. Vurder trafikkmengde for å unngå overforbruk av visitors. (Juster andel trafikk for test) 4. Stopp i tide.

13 MAKING WAVES 15

14 AB testing Funksjonalitet Endring av eksisterende elementer i designprosessen (f.eks. lenker, ikonbruk, menyer, nyhetsbrev etc.) Test av nye elementer i designprosessen Andre parametre som må kontrolleres for å bekrefte testresultatet (f.eks: bounce rate, tid på side m.m) Verifisering av konsepter Kjøreregler 1. Unngå samtidig testing på samme funksjonalitet. 2. Ikke gjøre flere innholds-endringer på de samme sider samtidig. 3. Vurder trafikkmengde for å unngå overforbruk av visitors. (Juster andel trafikk for test) 4. Stopp i tide.

15 MAKING WAVES 17

16 AB testing Noen eksempler 18

17 Eksempler Innhold og tekstelementer Design og layout Navigasjon og flyt MAKING WAVES 19

18 Innhold og tekstelementer 20

19 Toppmeny - Multivariate

20 Toppmeny ny test Periode: 13. april 30. april 2012

21 .NL Booking i toppmeny Økning fra 1,56% til 2,75% (13. april 19. april 2012)

22 Booking i toppmeny NB: Nye tester vil bli utført på alle versjoner for å verifisere resultater Version Conversio n before Conversion after Improvement Mean: 215% Change Booking to: COM 0,88% 1,23% 140% Booking (already changed) - Measured against: Book Online DK 1 1,65% 2,99% (3,66%) 181% (222%) Booking (change) FR 2 1,16% 2,79% 241% Réservations or Réservez en ligne (change) Not conclusive DE 0,49% 1,27% 259% Online Buchen (change) - Measured against: Booking IT 0,81% 1,75% 216% Per prenotare (change) NO 1,17% 2,50% 214% Bestilling (already changed) Measured against: Booking PL 0,88% 1,33% 151% Rezerwacja (change) RU 1,20% 2,13% 178% Бронирование (already changed) Measured against Booking ES 0,87% 1,66% 191% Reservas (already changed) Measured against: Booking SE 1,06% 3,08% 291% Boka (change) NL Boekingen (change) Measured against: Book Online UK 0,33% 1,18% 357,6% Book Online 1 (change) Measured against: Booking US 0,73% 1,26% 172,6% Booking (already changed) Measured against: Book Online NB: Bounce rate på BookNorway er ikke målt

23 Artikkeltittel 25

24 Artikkeltittel Resultat Original vinner over alternativene 5,20% (23. februar 8. mars 2012)

25 Kart - alternative tekster MAKING WAVES 27

26 Kart - alternative tekster Resultat Kontroll Periode: 17. april 23. mai 2012 Kilde:

27 Design og layout 29

28 Liste layout Links in body text Numbering and indentation Images and call to action

29 Liste layout Resultat Økt fra 17,52% to 20,13% (16. mars 26. mars 2012)

30 Previews på ny forside A B C D MAKING WAVES 32

31 Artikkelvisning på forsiden A B C D Periode: 29. mars 15. mai 2012

32 ARTIKKELVISNING PÅ FORSIDEN NÅR KAN VI STOLE PÅ RESULTATET? Varierende trafikk MAKING WAVES 34

33 ARTIKKELVISNING PÅ FORSIDEN NÅR KAN VI STOLE PÅ RESULTATET? Akkumulert (stabilisert) MAKING WAVES 35

34 TESTING AV NYTT DESIGN MOT GAMMELT Ny mot gammel forside MAKING WAVES 36

35 FØRSTE TEST MED AVVIKENDE RESULTATER Ny mot gammel forside Resultater Periode: 6. november 15. november MAKING WAVES 37

36 OPPSETT AV NY TEST MED SEGMENTER Ny mot gammel forside Resultater Periode: 15 november 20 november MAKING WAVES 38

37 Navigasjon og flyt 39

38 Produktliste plassering MAKING WAVES 40

39 Inngang til listings Google Analytics: 1 mars 28 mars 2012.

40 Reelle innganger

41 Siden er også tilgjengelig på. Tidligere versjon Periode (15 dager): 1. mai 15. mai 2012 Ny versjon (3%) Periode (15 dager): 15. mai 30. mai 2012 (1,8%)

42 Mobil: Kartinngang (Design) Ikon no. 2 gir 0,49 % klikk (22. mars 26. mars 2012) * * Minst tre konverteringer var fra team medlemmer.

43 NY FUNKSJONALITET: KOMBINERT MED SPØRREUNDERSØKELSE Mobil: kartinngang Kartinngang Mobil (29. mars 16. mars 2012) «What did you expect when you click that icon?»

44 Erfaringer så langt MAKING WAVES 48

45 Kompleksitet Kompetanse Javascript og HTML Tekstendring Ny funksjonalitet MAKING WAVES 49

46 Prosess og andre ting å tenke på Teste oppsettet før det legges ut Oversikt over tester og status funn og erfaringer Rydde opp i eventuell kode etter test er ferdigstilt Custom conversion legges direkte i kode for testoppsett MAKING WAVES 50

47 Fallgruver Veiledende ikke fasit Måler vi de riktige tingene? Variasjoner i trafikk Til tider problemer med oppsett og JS på mer avanserte tester. Kan være vanskelig å vite om tall er basert på feil i oppsett, verktøy eller faktisk bruk prøv ut Full oversikt? lett og overse ting som ikke synes i verktøyet når testen settes opp Verifiser tall og data i Google analytics om mulig Avslutt når tallene har stabilisert seg Previews korrekt? MAKING WAVES 51

48 AB testing fremover MAKING WAVES 52

49 AB testing på visitnorway Innhold og tekstelementer Design og layout Navigasjon og flyt Måling av konverteringer - Langvarige behov > Event tracking i Google Analytics - Kortvarige behov > AB verktøy - Manglende baseline > AB verktøy 53

50 54 AB bidrar til å holde nettstedet flytende