PostHog ja A/B-testaus paljastavat, milloin asiantuntijan oletus on väärä

Mitä opit tästä blogikirjoituksesta?

• Asiantuntijakupla voi hämätä: Omasta näkökulmasta “toimivampi” versio ei aina johda parempaan tulokseen, sillä oletuksemme eroavat usein asiakkaiden todellisesta käyttäytymisestä.
  
  

• Case Vianor ja yllättävä lopputulos: Koeponnistimme uutta työkalua Vianorin sivustolla A/B-testillä, joka kumosi alkuperäisen hypoteesimme.
  
  

• Datan avulla vältytään kalliilta virheiltä: Sokeasti tuotantoon viedyt uudistukset voivat aiheuttaa tappioita, jotka olisivat A/B-testauksella täysin estettävissä.
  
  

• PostHog taipuu kaikkeen: Tämä nykyaikainen analytiikkatyökalu mahdollistaa A/B-testauksen sekä kevyenä no-code-kokeiluna että laajempana koodiperusteisena toteutuksena.

Miksi arvauksia kannattaa kyseenalaistaa?

Oletko koskaan huomannut, kuinka sivustouudistuksia perustellaan väitteillä, kuten “uusi asettelu on käyttäjälle selkeämpi” tai “uusi versio on loogisempi”? En ihmettele tätä yhtään, sillä usein me luotamme vahvasti omaan intuitioomme ja visuaaliseen silmäämme. Väitteistä saattaa olla vieläpä yhtä mieltä koko se porukka, joka uudistusta tekee. Tämä porukka on kuitenkin usein kovin kuplautunut, minkä seurauksena käyttöliittymän selkeys ja käyttäjäpolun loogisuus nähdään vain omien asiantuntijalasien läpi.

A/B-testaus riisuu nuo lasit ja tuo uudistuksiin dataa. Testin aikana näytämme sivustosta samanaikaisesti kahta eri versiota ja mittaamme, miten loppukäyttäjien toiminta oikeasti eroaa uuden ja vanhan version välillä. Tällöin luvut kertovat meille konkreettisesti, kumpi versio vie liikennettä tehokkaammin kohti tavoitetta, eli konvertoi paremmin. Yhden testin avulla näemme siis eron käyttäjäkokemuksessa ja sen vaikutuksen myyntiin. Nämä ovat A/B-testauksen kulmakiviä, joista voit lukea lisää aiemmasta blogipostauksestamme: A/B-testaaminen pitää käyttäjän suunnittelun keskiössä.

Miksi A/B-testata juuri PostHogilla?

Tiivistetysti: Valitsimme PostHogin, koska koimme sen ketteräksi, skaalautuvaksi ja ominaisuuksiltaan kattavaksi.

PostHog ja muut nykyaikaiset A/B-testaustyökalut kertovat läpinäkyvästi, miten ne laskevat suorituskyvyn ja perustelevat version paremmuuden. Pohjimmiltaan laskenta perustuu tilastotieteeseen, mutta lukujen tulkintaan ei tarvita tilastotieteen tutkintoa (vaikkei sellaisesta ole haittaakaan). PostHog nimittäin tarjoaa A/B-testauksen tueksi istuntotallenteita, monipuolisia visualisointeja ja AI-generoituja yhteenvetoja, jotta raportointi ja tulosten analysointi olisi helpompaa.

Esimerkki PostHogin A/B-testin raportista. Huomaa ero konversioprosentissa varianttien välillä (kuvan esimerkissä control ja templates) ja sen merkittävä vaikutus voittotodennäköisyyteen (win probability). (Kuvalähde: PostHog)

PostHogilla voidaan tehdä kevyitä visuaalisia A/B-testejä täysin ilman koodia hyödyntämällä sen no-code-editoria. Vaativammissa testeissä sen sijaan versiot tehdään suoraan koodiin, ja niille lisätään “Feature Flagit”. Ne ovat ikään kuin kytkimiä, joiden avulla PostHog jakaa testiyleisön näkemään eri versioita. Tätä koodiin perustuvaa lähestymistapaa käytimme asiakkaamme kanssa, kun tavoitteenamme oli optimoida sivuston etusivun mobiiliversiota.

Case Vianor: Vanha levoton versio voitti uuden ja selkeän

Kun Vianor otti hiljattain PostHogin käyttöönsä, päätimme heti todentaa työkalun kyvykkyyden käytännössä. Teimme Vianorin sivustolla A/B-testin selvittääksemme, voisiko mobiilikäyttäjien konversiota nostaa muuttamalla etusivun asettelua selkeämmäksi. Arvioimme selkeyttä nimenomaan siitä mainitsemastani asiantuntijakuplasta käsin, joka usein poikkeaa loppuasiakkaan näkemyksestä ja kokemuksesta.

Tämän arvioinnin pohjalta loimme uuden testiversion (kuvassa oikealla). Siinä levottoman taustakuvan tilalla on tummempi rengaskuvio, ja kaksirivinen väliotsikko on tiivistetty yksiriviseksi.

A/B-testin alkuperäinen versio (control) ja uusi versio (variant). Kumman valitsisit?

Hypoteesimme oli, että uusi versio nostaisi rengas- ja vannehaun käyttöä, eli etusivun tärkeimpien painikkeiden klikkauksia, ja johtaisi siten laadukkaampiin vierailuihin. Käytimme testissä lisäksi “tukimetriikoita”, eli seurasimme PostHogilla myös palvelusivuille vievien painikkeiden käyttöä, jotta näkisimme uudistuksen kokonaisvaikutukset. Alla olevasta taulukosta näemme, miten uusi versio suoriutui alkuperäisen rinnalla.

Datan perusteella voimme todeta, ettei uusi versio johtanutkaan niihin laadukkaampiin vierailuihin, joita odotimme. Päinvastoin! Selkeämpi ja yksirivinen testiversio hävisi alkuperäiselle, hieman levottomammalle ulkoasulle. Alle prosenttiyksikön ero (37,63 % vs. 37,03 %) rengas- ja vannehaun käytössä saattaa kuulostaa olemattomalta, mutta voi isossa verkkopalvelussa vuositasolla tarkoittaa kymmenien tai jopa satojen tuhansien eurojen menetettyä myyntiä.

Lisäksi on erittäin tärkeää huomioida, että testatessa myynnin kasvattaminen ei ole ainoa voitto, eikä testiversion huono suorituskyky tarkoita epäonnistunutta testiä. Ilman PostHogin dataa olisimme todennäköisesti julkaisseet uuden “selkeämmän” version ja menettäneet rahaa.

Viisi vinkkiä tulokselliseen A/B-testaukseen

Parhaat käytännöt ja UX-säännöt ovat vain hypoteeseja, kunnes ne todistetaan datan avulla oikeiksi. Näillä vinkeillä teet testeistä luotettavia ja päätöksenteosta dataperusteista:

1. Hyödynnä monialaista tiimiä: A/B-testauksessa on hyötyä data- ja analytiikkaosaamisesta, UX- ja koodaustaidoista sekä liiketoimintaymmärryksestä.
   
   

2. Valitse työkalut ja toteutustapa tarpeen mukaan: Yksinkertaisiin tekstimuutoksiin riittää kevyempi työkalu, mutta laajemmat ja rakenteelliset muutokset tulee viedä kooditasolle laadun ja luotettavuuden takaamiseksi.
   
   

3. Määritä aina tukimetriikka: Yhden mittarin tai painikkeen tarkastelu ei kerro koko kuvaa, koska yksinkertaisillakin muutoksilla on usein moniulotteiset vaikutukset.
   
   

4. Anna testille aikaa: Dataa tulee kertyä riittävästi, jotta tuloksiin saadaan mukaan viikonpäivien tuoma vaihtelu ja pidempään harkitsevat ostajat.
   
   

5. “Hävinnyt” testi on onnistunut riskin minimointi: Kun hypoteesi kaatuu, vältytään huonon uudistuksen julkaisulta.

Jos koet sivustosi olevan muutoksen tarpeessa, mutta tukenasi on vain arvauksia, ota yhteyttä! Me Crasmanilla autamme sinua pääsemään alkuun ketterästi. A/B-testauksen ei tarvitse olla järkälemäinen projekti, kun valitsemme yhdessä oikeat työkalut oikeaan käyttötarkoitukseen.