Comment interpréter vos résultats de test AB

Mettre en place un test AB est la partie facile. Donner du sens aux résultats et les transformer en connaissances utiles sur votre audience demande un peu plus de réflexion. Cet article vous aide à lire correctement vos résultats, à fixer des attentes réalistes et à développer une habitude de test qui améliore réellement vos campagnes au fil du temps.

Ce que vos résultats vous disent vraiment

Lorsque votre test AB est terminé, vous verrez le taux d’ouverture ou le taux de clic pour chaque variante dans votre rapport de campagne. La variante gagnante est clairement indiquée, mais le chiffre lui-même mérite un peu de contexte avant de tirer des conclusions.

Une différence de 1 ou 2 points de pourcentage entre deux variantes n’est pas un résultat significatif. Avec des listes de contacts plus petites notamment, de faibles marges peuvent être dues au timing, au hasard ou aux contacts spécifiques qui se trouvaient dans le groupe de test ce jour-là. Avant de modifier toute votre approche sur la base d’un résultat, demandez-vous : cette différence est-elle suffisamment importante pour être convaincante ?

Un guide approximatif :

• Une différence inférieure à 2 points de pourcentage : considérez ce résultat comme non concluant. Les deux variantes ont obtenu des performances similaires auprès de votre audience.
• Une différence de 3 à 5 points de pourcentage : il s’agit d’un signal utile, mais qui vaut la peine d’être confirmé par un test de suivi.
• Une différence de plus de 5 points de pourcentage : il s’agit d’un résultat clair sur lequel vous pouvez agir en toute confiance.

N’attendez pas de changements spectaculaires

Il est tentant de s’attendre à ce que la bonne ligne d’objet ou la bonne image transforme radicalement vos résultats. En pratique, les tests AB produisent généralement des améliorations progressives. Un test de ligne d’objet peut faire passer votre taux d’ouverture de 24 % à 27 %. Ce n’est pas un résultat spectaculaire, mais appliqué de manière consistante à chaque campagne envoyée, cela se traduit par une liste nettement plus performante au fil du temps.

La valeur des tests AB ne réside pas dans la recherche d’une formule magique. Elle se trouve dans la réalisation d’améliorations constantes et basées sur des preuves, qui s’accumulent sur des mois et des années.

La fréquence et la consistance sont importantes

Un seul test vous dit quelque chose sur une seule campagne. Effectuer des tests de manière consistante sur de nombreuses campagnes vous dit quelque chose sur votre audience.

Si vous ne testez qu’occasionnellement, vous ne pourrez pas distinguer un véritable pattern d’un résultat ponctuel. Une ligne d’objet qui a bien fonctionné en janvier a peut-être bénéficié d’un sujet saisonnier, d’un événement d’actualité spécifique ou de la composition de cette liste d’envoi particulier. Ce n’est que lorsque vous voyez le même type de ligne d’objet surperformer de manière consistante sur plusieurs envois que vous pouvez affirmer avec confiance qu’elle fonctionne pour votre audience.

Tâchez d’inclure un test AB dans chaque campagne où cela a du sens. Au fil du temps, vous commencerez à remarquer des patterns : vos contacts réagissent peut-être mieux de manière consistante aux questions dans les lignes d’objet, à un nom d’expéditeur spécifique ou à un style particulier d’image d’appel à l’action. Ces connaissances accumulées sont plus précieuses que n’importe quel résultat de test individuel.

Testez une seule chose à la fois

Ce point vaut la peine d’être répété, même si vous l’avez déjà lu ailleurs. Si vous modifiez à la fois la ligne d’objet et l’expéditeur dans la même campagne, vous ne pourrez pas savoir quel changement a influencé la différence de taux d’ouverture. Chaque test doit isoler une seule variable.

Cela signifie également faire preuve de patience. Tester un seul élément par campagne signifie que vous construisez vos connaissances progressivement. C’est la bonne approche.

Tenez un journal de vos résultats

Flexmail vous montre les résultats de chaque test individuel dans votre rapport de campagne, mais ne regroupe pas automatiquement les patterns entre les campagnes. Tenez un journal simple, même une feuille de calcul avec le nom de la campagne, ce que vous avez testé, le résultat pour chaque variante et la marge. Après dix ou vingt tests, vous aurez une image claire de ce qui résonne auprès de votre audience.

Ce que signifient vraiment de bons taux d’ouverture et de clic

Si vous êtes nouveau dans le marketing par e-mail, il peut être difficile de savoir si vos résultats sont bons ou non. Les benchmarks du secteur varient considérablement selon le secteur d’activité, la taille de la liste et la fréquence d’envoi. Utilisez-les comme une orientation approximative, et non comme un objectif que vous devez absolument atteindre.

Plus pertinente que les moyennes du secteur est votre propre tendance dans le temps. Votre taux d’ouverture s’améliore-t-il, reste-t-il stable ou diminue-t-il sur vos dix dernières campagnes ? C’est cette tendance que vos efforts de test AB devraient faire évoluer dans une direction positive.

Étapes suivantes

• Consultez vos trois derniers rapports de campagne et notez la marge entre les variantes. Certains résultats étaient-ils trop proches pour être concluants ?
• Commencez un journal simple pour suivre vos résultats de test au fil du temps.
• Lisez « Qu’est-ce qui fait une bonne ligne d’objet ? » pour des idées sur ce que vous pouvez tester ensuite.
• Une fois que vous avez effectué quelques tests, essayez de combiner les tests AB avec la segmentation pour développer des informations spécifiques à chaque segment d’audience.