fredag, 28 december 2012

A/B-splittesta ditt nyhetsbrev med nyfikenhet och kreativitet – men vad är det du gör egentligen?

Just nu pratas det mycket om A/B-testning, både av webbplatser och av e-postmarknadsföring. Och det är verkligen begripligt, få saker är så roligt för oss marknadsförare som att kunna få se direkt resultat av våra ansträngningar. Med A/B tester finns det mycket vi kan lära för att bättre möta våra kunders beteenden och för att slutligen såklart – konvertera bättre. Men ofta glömmer vi bort att A/B test av en sajt och av ett nyhetsbrev är två helt olika saker och således behöver hanteras på helt olika sätt.

Grunden till olikheten är helt enkelt att vi vet att en besökare varit på webbplatsen vid en given tidpunkt då testet genomförs. Men vi kan aldrig veta när i tiden testpersonen kommer att öppna sitt nyhetsbrev, om det nu alls kommer att öppnas. Den här tidsförskjutningen och osäkerheten påverkar testresultatet både när vi mäter öppningsgrad och antal klick som när vi mäter konvertering.

A/B testning av nyhetsbrev är fortfarande bra att göra tycker jag, speciellt för e-handlare som ju kan nå en direkt affärsnytta med att kunna välja det erbjudande som faktiskt fungerar bäst. Men för att nå ett resultat där vi kan vara så gott som säkra på att den vinnande versionen verkligen är den bästa finns några saker vi behöver tänka på. Innan vi går in på pekpinnarna vill jag bara påminna om det viktigaste med test av nyhetsbrev – låt det vara roligt, använd din nyfikenhet och tillåt dig att överraskas!

Vad är A/B-splittest

Först ska vi identifiera vad ett A/B test eller A/B/C/D split test egentligen är. Precis som det låter gör du olika två eller fler versioner av ditt nyhetsbrev. Innan de skickas ut till hela din mottagarlista väljs slumpartat en testgrupp där det procentuellt fördelas vilken version som ska skickas till de utvalda. Efter en testperiod avgörs vilken variant som gått bäst och den skickas således till resten av listan per automatik eller så styr du det manuellt om du så önskar.

Testa rätt sak

Det vanligaste vid A/B tester på nyhetsbrev är att testa öppningsgrad eller antal klick. Generellt kan man då säga att när vi testar öppningsgaraden är det ämnesraden i mejlet som vi laborerar med.

Vill vi testa olika typer av innehåll i utskicket är det antal klick vi mäter och det finns många olika alternativ av hur innehållet kan testas. Vissa av dem kan du testa för att optimera just det aktuella utskicket och andra kan du testa för att också kunna dra lärdomar på längre sikt.

Exempel på tester för innehållsoptimering:

  • Erbjudanden
  • Färg och form på knappar
  • Komposition
  • Bilder
  • Placering av länkar
  • Textlängd

Om målet är att hitta det innehåll som dina mottagare tycker mest om är antalet klick det rätta måttet!

Förläng tidsspannet för testet

Eftersom vi ju inte vet när våra mottagare kan behaga öppna nyhetsbrevet vi skickat behöver vi sätta ett ganska långt tidsspann för själva testet. Tanken med det är att så många som möjligt ska hinna öppna mejlet innan det avgörs vilken av versionerna som är den bästa.

Vi på Compost kan se att de av våra kunder som är väldigt ivriga och vill att testet ska göras snabbt ofta får missvisande resultat. T.ex. kan testet ha visat att version A vann och skickats ut till resterande av mottagarna. Men en timme senare har fler inom testgruppen hunnit öppna mejlet och version C skulle nu har valts istället.

Det här är viktigt att känna till. Hur du ska hantera det beror lite på hur mycket du vet om dina mottagares beteenden. Öppnar de oftast mejlet på en gång när det kommer, eller är det vid en viss tidpunkt du vill att de ska öppna? Hur många läser mejlet i mobilen, och finns samma möjlighet att driva konvertering där?

För att få ett så säkert resultat som möjligt tycker jag att du ska ha ett så långt testspann som möjligt. Planerar du t.ex. en kampanj kan det vara värt att sätta testtiden till 24 timmar, då hinner ju de flesta av mottagarna i testgruppen göra valet om de vill öppna eller inte. Har du inte den framförhållningen tycker jag att tre timmar är ett minimum. Om det inte görs mitt i natten eller på en stor helgdag såklart.

Gör en plan

Innan du påbörjar testet, bestäm vad det är du vill uppnå. Ha gärna en hypotes som du följer, då får du förutom ett testresultat en möjlighet att lära dig något om dina mottagare. Eller testa slumpartat när det som faller dig in, men var då medveten om det är just slumpartade test och var lite mer försiktig med att dra lånsiktiga slutsatser.

Hur stor är en testgrupp?

För att det ska vara statistiskt försvarbart att göra ett splittest av nyhetsbrev tycker vi på Compost att du ska ha minst 10.000 mottagare i din lista. Vill du testa fler versioner än två, dvs A/B/C/D split test, tycker jag att ni ska en lista som är minst dubbelt så stor.

Har du en mindre lista kan du så klart också göra test, men om inte utfallet blir väldigt tydligt är det svårt att veta om det var slumpen eller en bättre version av mejlet som avgör. Man kan ju testa för att det är spännande och roligt också!

Avslutningsvis vill jag ge dig en liten checklista för A/B split testning av nyhetsbrev

  1. Bestäm vilka element i ditt nyhetsbrev du vill testa alternativ till.
  2. Identifiera hur alternativen kan se ut.
  3. Sålla bort de alternativ som du inte skulle välja även om de visar sig fungera bäst.
  4. Bestäm vilket mått som visar det bästa alternativen för de olika elementen, öppningsgrad eller antal klick.
  5. Gör en plan för vilka saker du ska testa och i vilken ordning.
  6. Testa en sak i taget.
  7. Tillse att testtiden är så pass lång så att en representativ del av ditt urval hinner öppna mejlet. Ju längre testtid desto mer representativt resultat.
  8. Upprepa testet minst tre gånger för att kunna dra en slutsats på längre sikt.

Kom ihåg att med jämna mellanrum fråga dig varför du testar. Se till att du har en plan så att du inte gör jobbet i onödan. Se också till att ha roligt längs vägen och var öppen för oväntade resultat.

Lycka till!

Helena Kimber
Marknadschef
Compost