A/B Testing, Pourquoi vos résultats ne valent rien

Qu'est ce que l'A/B Testing ?

L'A/B testing consiste à tester plusieurs versions d'une même page pour voir laquelle fonctionne le mieux et offre le meilleur taux de conversion.

Pourquoi vos tests ne veulent probablement rien dire

Vous faites des AB Testings successifs qui semblent améliorer votre site web petit à petit. A chaque fois, vous sélectionnez les versions qui ont un impact positif sur la variable testée (généralement le taux de transformation).

Tout semble rouler, et puis un jour vous sortez le nez du guidon (où quelqu'un vous le sort car il doute de l'efficacité de ces tests) et vous décidez de jeter une œil à l'évolution du taux de conversion pour voir comment cela a évolué depuis le début de vos tests.

L'impact semblait positif lorsque vous regardiez chaque test dans Analytics, mais à l'échelle macro les résultats sont mitigés !

Vous avez beau trier par mois pour lisser tout ça, votre taux de conversion ne décolle pas comme vous le pensiez !

Dans mon exemple, notre taux de transformation est plutôt stable autour des 2%, et on se demande pourquoi il baisse en juin. Une goutte du sueur dégouline de votre front, vous vous dites que vous avez bossé pour rien…

Stop ! Vous êtes en train de faire une grosse erreur

Ah bon, c'est quoi cette erreur ?

Pourquoi ? Tout simplement car tous les visiteurs n'ont pas la même capacité de conversion par source. Autrement dit, si vous avez envoyé plus de visiteurs d'une source de trafic qui a un plus faible taux de conversion, cela va faire automatiquement baisser votre taux de transformation global. Prenons un exemple simple pour bien comprendre :

• Mois 1 : j'ai 1000 visiteurs d'une source 1 qui convertissent à 1% + 2000 visiteurs d'une source 2 qui convertissent à 3% = (10+60)/3000 = 2,33%
• Mois 2 : j'ai 2500 visiteurs d'une source 1 qui convertissent à 1,5% + 500 visiteurs d'une source 2 qui convertissent à 4% = (37,5+20)/2700 = 1,92%

Le taux de conversion pour chaque source à augmenté, le nombre de visiteurs uniques total reste le même, mais le taux de conversion global diminue !

Cela est simplement lié au fait que la proportion de trafic provenant des différents canaux a changé. Voilà pourquoi vous ne devez pas regarder le taux de conversion global du site !

Comment mesurer l'efficacité mon A/B Testing ?

Pour voir l'impact réel cumulé de vos AB testing, vous devez choisir un seul canal pour ne pas être gêné par les variations entre les différents canaux d'acquisition. En théorie, vous pourriez prendre n'importe lequel mais le mieux c'est d'en choisir un qui :

• A constamment la même typologie de visiteurs (si vous choisissez Adwords, ce n'est pas bon car vous optimisez constamment les campagnes, ajoutez et supprimez des mots clés, …)
• A un nombre suffisant et significatif de visiteurs Dit de manière simple, il faut un canal stable dans le temps. Et on pense tout de suite à différentes possibilités :
• Les accès directs. Cependant le trafic peut-être faible en fonction de la notoriété de votre site
• La recherche naturelle sur le nom de votre site/marque. Même problème qu'avec les accès directs
• Tous les résultats naturels. Si votre site ne bouge pas trop et que les termes de recherches sont les mêmes

Allons dans le détail du taux de conversion par source et sélectionnons tous les résultats de recherche naturels :

1. On crée un rapport personnalisé avec les taux de conversion par source si ce n'est pas déjà fait.
2. On tape dans la petite case en haut du tableau « organic » pour filtrer.
3. On clique sur « Mois » pour lisser la courbe.

Et tadah :

Avouez que la courbe a quand même une meilleure tête non ? Cette fois-ci le taux de conversion a plus que doublé et augmente continuellement !

Attention à la significativé de votre AB testing

Pour être certain que votre AB Testing veuille dire quelque chose, faites attention à ce qu'il soit statistiquement significatif.

Par exemple, si vous testez une version A avec 100 visites et 3 conversion, et une version B avec 100 visites et 1 conversion, vous ne pouvez pas dire que la version A est 3 fois meilleure ! Pour cela, il faudrait plus de volume ou un différence plus importante dans le conversion.

Pour cela, vous pouvez utilisez un outil comme celui-ci qui vous dira si votre AB test est significatif.

Entrez simplement le nombre de visiteurs et de conversions pour chaque version. Si vous voyez apparaître le message The test result is not significant alors il faudra continuer Votre AB testing pour pouvoir en tirer des conclusions.

Bravo, vous avez fait du bon boulot. Vous pouvez remettre le nez dans le guidon et continuer à pédaler. 😉