A/B testing en cold email : quoi tester, dans quel ordre

Tester au hasard produit des conclusions fausses. On change l'objet et le CTA en même temps, on conclut sur 40 envois, on garde la variante « gagnante » alors que l'écart relève du bruit. L'A/B testing en cold email fonctionne, mais seulement avec une méthode : tester les bonnes variables, dans le bon ordre, avec les bons volumes.

‍

La hiérarchie des variables : testez ce qui pèse le plus

‍

Toutes les variables n'ont pas le même impact. L'ordre de test qui maximise l'apprentissage :

‍

• Le ciblage et le segment : la variable la plus lourde, et la plus ignorée. Un excellent email envoyé à la mauvaise liste ne performera jamais.
• L'objet : il conditionne l'ouverture, donc tout le reste.
• L'accroche : les deux premières lignes décident si le message est lu.
• Le CTA : question ouverte, proposition de créneau, demande d'intérêt.
• Le reste : jour d'envoi, longueur, signature. Impact réel, mais marginal.

‍

Le piège classique : passer des semaines à tester des jours d'envoi alors que le problème est le ciblage. Commencez toujours par le haut de la hiérarchie.

‍

La taille d'échantillon minimale pour conclure

‍

En dessous d'un certain volume, un écart entre deux variantes ne veut rien dire. Les ordres de grandeur à respecter : 150 à 200 envois par variante minimum pour comparer des taux de réponse, davantage si vos taux sont faibles. Sur 50 envois, une réponse de plus ou de moins fait basculer le classement.

‍

La règle pratique : si l'écart entre vos deux variantes est inférieur à 2 points sur moins de 200 envois, considérez le test comme non conclusif et continuez à collecter.

‍

Les pièges statistiques classiques

‍

• Tester deux variables en même temps : impossible de savoir laquelle explique l'écart. Une seule variable par test.
• Arrêter dès qu'une variante prend l'avantage : les premiers résultats sont les plus bruités. Fixez le volume à l'avance et tenez-le.
• Comparer des envois faits à des périodes différentes : une semaine de rentrée et une semaine de pont ne se comparent pas. Les variantes doivent tourner en parallèle.
• Conclure sur les taux d'ouverture : le tracking d'ouverture est devenu peu fiable et il dégrade la délivrabilité. Jugez sur les réponses, positives de préférence.

‍

Installer une culture du test en continu

‍

Un test par campagne, pas plus, mais toujours un. Et surtout, documentez : un registre simple avec l'hypothèse, la variante testée, le volume, le résultat et la décision prise. Sans registre, l'équipe reteste les mêmes choses tous les six mois.

‍

Au bout d'un trimestre, ce registre devient un playbook : vous savez ce qui fonctionne pour votre marché, pas ce qu'un article générique affirme. C'est exactement ainsi que nous itérons sur les campagnes de nos clients chez The Outbound Society : chaque séquence embarque un test, chaque test alimente la suivante.