Tu as formulé une hypothèse solide, fondée sur une observation, falsifiable. Reste à la valider, et c'est là que beaucoup se trompent de méthode. La validation la plus répandue, et la plus trompeuse, consiste à appliquer le changement, regarder si les ventes montent dans les jours qui suivent, et conclure. Ça paraît logique, et c'est une fausse preuve, parce que tu ne peux jamais savoir si la hausse vient de ton changement ou d'autre chose, d'un week-end, d'une promotion, d'un pic saisonnier, d'une fluctuation normale.
Valider une hypothèse, ce n'est pas observer un avant après, c'est isoler l'effet de ton changement de tout le reste. Et isoler un effet demande une méthode, parce que le monde réel est plein de variations qui se confondent avec ton résultat. La bonne méthode dépend de ton trafic, mais le principe est invariable, comparer ce qui se passe avec le changement à ce qui se serait passé sans, sur la même période. Voici pourquoi l'avant après ne prouve rien, et comment valider vraiment.
Prouver un effet, c'est le comparer à son absence
Quand tu changes quelque chose et que les ventes montent, deux explications coexistent, ton changement a marché, ou autre chose a fait monter les ventes en même temps. Le problème, c'est que tu ne peux pas distinguer les deux à partir du seul avant après, parce que tu n'observes qu'une seule version de la réalité, celle avec le changement. Tu ne sais pas ce qui se serait passé sans, sur la même période. Or c'est exactement cette comparaison qui prouverait l'effet.
C'est tout l'intérêt du test contrôlé, et en particulier de l'A/B test. Il fait coexister, sur la même période, deux versions, une avec le changement, une sans, et répartit les visiteurs entre les deux au hasard. Comme les deux groupes vivent les mêmes conditions extérieures, même week-end, même promotion, même saison, la seule différence systématique entre eux est ton changement. Si le groupe qui voit le changement convertit mieux que l'autre, et que l'écart est assez net pour ne pas être dû au hasard, alors tu as isolé l'effet de ton changement. C'est la version expérimentale de la comparaison avec l'absence.
Le mécanisme clé est cette simultanéité. L'avant après compare deux périodes différentes, donc deux contextes différents, et confond l'effet du changement avec l'effet du temps. L'A/B test compare deux groupes sur la même période, donc le même contexte, et isole l'effet du changement. C'est la différence entre une coïncidence observée et un effet prouvé.
L'avant après ne prouve rien, et te trompe avec confiance
Je le pose nettement. La validation par avant après est pire qu'inutile, elle est trompeuse, parce qu'elle produit des conclusions fausses avec l'apparence de la preuve. Tu changes un bouton, les ventes montent la semaine suivante, tu conclus que le bouton a marché. En réalité, la hausse venait d'une newsletter envoyée le même jour, ou de la rentrée, ou du hasard. Tu attribues à ton changement un effet qu'il n'a pas eu, tu le déploies partout, et tu construis ta stratégie sur une illusion.
Ma position, c'est qu'une hypothèse ne peut être validée que par une comparaison contrôlée, où ce qui voit le changement et ce qui ne le voit pas coexistent. Quand ton trafic le permet, c'est l'A/B test. Quand il ne le permet pas, il faut d'autres approches, mais jamais l'avant après naïf comme preuve. Accepter cette exigence est inconfortable, parce que l'avant après est facile et flatteur, il te donne souvent raison. Mais le confort d'une fausse preuve coûte cher, il te fait déployer des changements inutiles et ignorer des changements utiles, sur la foi de coïncidences. La rigueur de la validation est ce qui sépare le CRO qui progresse du CRO qui tourne en rond en se félicitant.
Le faux test avant après contre le test contrôlé
Comparons deux façons de valider la même hypothèse.
- Le faux test avant après. Le marchand affiche les frais de port plus tôt, comme son hypothèse le proposait, puis compare les ventes de la semaine suivante à celles de la semaine précédente. Elles ont monté de huit pour cent. Il conclut que son hypothèse est validée. Mais cette semaine là, il y avait aussi une mise en avant sur les réseaux et un jour férié propice aux achats. Impossible de savoir ce qui revient à quoi. Sa preuve est une coïncidence déguisée, et sa confiance est mal placée.
- Le test contrôlé. Le marchand met en place un A/B test, la moitié des visiteurs voit les frais affichés tôt, l'autre moitié l'ancienne version, sur la même période. Les deux groupes vivent le même contexte, mise en avant, jour férié, saison. Seule différence, l'affichage des frais. Le groupe test passe au checkout dix pour cent plus souvent, et l'écart est assez net pour exclure le hasard. Il a isolé l'effet, sa preuve tient, parce que le contexte était identique pour les deux groupes.
La leçon, c'est que les deux marchands ont vu une hausse, mais un seul a une preuve. La différence n'est pas le résultat observé, c'est la capacité à l'attribuer. Et seule la comparaison simultanée, le test contrôlé, permet cette attribution.
Valider quand le trafic est faible
L'A/B test a une exigence, du trafic, parce qu'il faut assez de visiteurs dans chaque groupe pour qu'un écart soit distinguable du hasard. Or beaucoup de boutiques n'ont pas ce volume, et pour elles, lancer un A/B test sur chaque hypothèse mènerait à des tests interminables et non concluants. Le reconnaître honnêtement est important, l'A/B test n'est pas la réponse universelle, c'est la meilleure méthode quand le trafic suffit.
Quand le trafic est faible, d'autres voies existent pour réduire l'incertitude sans prétendre à la preuve statistique parfaite. Concentrer les tests sur des changements à fort effet attendu, car un gros effet se détecte avec moins de trafic qu'un petit. Tester sur l'étape la plus fréquentée, pas sur une page vue par peu de monde. S'appuyer davantage sur le qualitatif convergent, plusieurs enregistrements et observations qui pointent la même cause, comme faisceau d'indices à défaut de preuve. Et accepter une part de jugement assumé, en privilégiant les changements qui appliquent des principes éprouvés, dont l'effet est documenté ailleurs même si tu ne peux pas le prouver chez toi. La règle reste, ne jamais prendre un avant après pour une preuve, mais adapter le niveau d'exigence à ce que ton trafic permet réellement.
Valider selon ton contexte
Choisis ta méthode de validation selon ton trafic.
- Trafic suffisant, A/B test. Fais coexister la version avec et sans changement, sur la même période, visiteurs répartis au hasard. C'est la preuve la plus solide.
- Vérifie la netteté de l'écart. Un écart entre les deux groupes ne vaut que s'il est assez net pour ne pas être dû au hasard. Sans cela, tu n'as pas conclu.
- Trafic faible, vise les gros effets. Teste des changements à fort impact attendu, sur les étapes les plus fréquentées, car ils se détectent avec moins de volume.
- Appuie toi sur le qualitatif convergent. À défaut de preuve statistique, plusieurs observations qui pointent la même cause forment un faisceau d'indices crédible.
- Ne prends jamais l'avant après pour une preuve. Quel que soit ton trafic, une hausse après un changement non isolé reste une coïncidence possible, pas une validation.
Où tu commences : pour ta prochaine hypothèse, demande toi d'abord si ton trafic permet un A/B test propre sur l'étape visée. Si oui, c'est la voie. Sinon, choisis un changement à fort effet attendu et adosse ta décision à un faisceau d'observations, sans jamais te contenter d'un avant après.
Ce qu'il faut retenir
Valider une hypothèse de conversion, ce n'est pas appliquer le changement et regarder si les ventes montent, parce que cet avant après confond l'effet de ton changement avec celui du week-end, de la saison ou du hasard. Prouver un effet, c'est le comparer à son absence sur la même période, ce que fait l'A/B test en faisant coexister deux versions, isolant ainsi ton changement de tout le reste. L'avant après est trompeur, il te donne souvent raison à tort. Quand le trafic suffit, l'A/B test est la preuve. Quand il manque, vise les gros effets et appuie toi sur un qualitatif convergent, mais ne prends jamais une coïncidence pour une validation. Si tu veux qu'un scan identifie les hypothèses qui valent un test, c'est l'objet du diagnostic CRO e-commerce.