Test A/B: ne pas se précipiter!
Voici le scan des résultats d’un test A/B que j’ai mené récemment. Google préconise au moins 100 clics pour être représentatif. Or ce seuil a été atteint le 16 décembre.
Si je m’étais basé sur ces préconisations, j’aurais maintenu la version originale. Malgré tout, la tendance des courbes m’a fait patienter, et bien m’en a pris car il s’est avéré que la version alternative transforme maintenant 11% de plus que la version originale.
Morale de tout ça: ne pas se précipiter dans ses tests A/B. Prendre un peu de recul pour réellement observer les résultats et prendre les bonnes décisions.
No related posts.
E-Commerce World est un blog de partage d'expérience et de veille sur l'E-Commerce, des réseaux sociaux et de l'entreprenariat. 
janvier 10th, 2012 at 9 h 18 min
C’est je que je constate dans les différents tests que j’ai pu effectuer : les écarts types se réduisent au fil du temps. Il faut surtout se baser sur l’indicateur de confiance de l’outil et, si possible, attendre qu’il mentionne la version gagnante. Exemple ici : http://www.e-merchandising.net/wp-content/uploads/2012/01/testAB-gagnante.png
janvier 10th, 2012 at 21 h 01 min
Tu as raison Audran mais avec 100 conversions en 5 jours c’est normal. moi j’essaye d’atteindre 300+ conversions pour « fiabiliser » un peu les chiffres
janvier 10th, 2012 at 22 h 04 min
@Sylvain: merci pour ces précisions.
@benoit: tu résumes parfaitement la philosophie de l’article
Pour le nombre de clics l’indice de confiance est un bon indicateur.