A/B test et split test sont deux termes que beaucoup utilisent comme synonymes, et cette confusion n'est pas qu'une question de vocabulaire, elle mène à choisir le mauvais dispositif pour ce qu'on veut tester. Parce que derrière ces mots, quand on les emploie précisément, se cachent deux façons différentes de tester, adaptées à des situations différentes. Employer l'une pour ce qui relève de l'autre, c'est se compliquer la vie ou fausser sa mesure.
Le flou vient de l'usage, certains appellent split test tout test comparatif, d'autres réservent ce terme à une technique précise. Plutôt que de trancher un débat de terminologie, ce qui compte est de comprendre les deux dispositifs qui existent réellement, et de savoir lequel convient à ton changement. Voici la distinction qui compte, et la règle simple pour choisir selon l'ampleur de ce que tu testes.
Le mécanisme : deux façons de faire coexister deux versions
Quand on veut comparer deux versions sur la même période, il y a deux manières techniques de s'y prendre. La première, qu'on appelle souvent A/B test au sens strict, fait varier des éléments à l'intérieur d'une même page, à la même adresse. L'outil affiche à certains visiteurs la version originale, à d'autres une variante où un ou plusieurs éléments changent, titre, bouton, image, agencement, le tout sur la même URL. Encore faut il un outil pour faire tourner le test, un choix devenu moins évident depuis la disparition de Google Optimize. C'est léger, rapide à mettre en place, et adapté aux changements localisés.
La seconde, qu'on appelle souvent split test ou test d'URL fractionné, fait coexister deux pages entièrement distinctes, à deux adresses différentes, et répartit le trafic entre elles, souvent par une redirection. Au lieu de modifier des éléments sur une page, on compare deux pages séparées. C'est plus lourd, mais c'est ce qu'il faut quand la différence entre les versions est trop profonde pour tenir dans des variations d'éléments, par exemple deux structures de page radicalement différentes, ou deux parcours entiers.
Le mécanisme à retenir, c'est que les deux font la même chose sur le fond, comparer deux versions sur la même période pour isoler un effet, mais à des échelles différentes. L'A/B test au sens strict modifie des éléments dans un cadre commun. Le split test compare des cadres entiers. La question n'est donc pas laquelle est meilleure, c'est laquelle correspond à l'ampleur de ton changement.
| Variation d'éléments | Pages distinctes | |
|---|---|---|
| Ce qui change | Des éléments sur une même page (titre, bouton, image) | Deux pages entières, à deux adresses |
| URL | Une seule, inchangée | Deux, avec redirection |
| Poids technique | Léger, rapide à poser | Plus lourd à mettre en place |
| Adapté à | Un changement localisé | Une structure ou un parcours entièrement différent |
| Piège propre | Aucun notable | La redirection ajoute un délai, à neutraliser |
La prise de position : la confusion fait choisir le mauvais dispositif
Je le pose nettement. Le problème de l'usage interchangeable des termes, c'est qu'il masque le vrai choix, qui n'est pas de mots mais d'ampleur. Quand on croit que A/B test et split test sont la même chose, on prend le dispositif par défaut de son outil sans se demander s'il convient. On essaie de tester une refonte complète de page avec un dispositif de variation d'éléments, ce qui devient vite ingérable, ou on monte une lourde machinerie de pages séparées pour changer un simple bouton, ce qui est disproportionné.
Ma position, c'est qu'il faut ignorer la guerre des mots et raisonner en ampleur de changement. Petit changement localisé, variation d'éléments sur la même page, c'est l'A/B test au sens strict, léger et rapide. Changement profond, structure ou parcours entièrement différents, c'est le test de pages séparées, plus lourd mais adapté. Le bon réflexe n'est pas de demander "fais je un A/B test ou un split test", question piégée par le vocabulaire, mais "mon changement tient il dans des variations d'éléments, ou exige t il deux pages distinctes". La réponse à cette question, et non le terme employé, désigne le dispositif.
Teardown : le mauvais dispositif contre le bon
Comparons deux choix de dispositif pour deux changements.
- Le mauvais dispositif. Le marchand veut tester une refonte complète de sa fiche produit, nouvelle structure, nouveau parcours, nouveaux blocs. Il essaie de le faire dans son outil de variation d'éléments, en empilant les modifications sur la page existante. Le résultat est un bricolage instable, des éléments qui s'empilent mal, des conflits d'affichage, une variante difficile à maintenir. Le test devient peu fiable, parce que le dispositif n'était pas fait pour un changement de cette ampleur. À l'inverse, un autre marchand monte deux pages séparées et une redirection pour tester la couleur d'un bouton, déployant une usine à gaz pour un changement minuscule.
- Le bon dispositif. Le premier marchand, pour sa refonte complète, monte deux pages distinctes et répartit le trafic entre elles, chaque version propre et autonome. Le test est fiable parce que le dispositif correspond à l'ampleur. Le second, pour son bouton, utilise une simple variation d'élément sur la même page, légère et rapide. Chacun a choisi selon l'ampleur de son changement, pas selon un terme.
La leçon, c'est que le dispositif doit épouser l'ampleur du changement, et que la confusion des termes empêche ce bon appariement. Une fois qu'on raisonne en ampleur, variation d'éléments contre pages distinctes, le choix devient évident, et le débat de vocabulaire disparaît.
Un piège technique du test de pages séparées
Le test de pages séparées, par redirection, comporte un piège qu'il faut connaître. Comme il envoie une partie des visiteurs vers une autre adresse, il introduit une redirection, qui ajoute un léger délai de chargement à la version testée. Si tu n'y prends pas garde, tu compares alors deux choses à la fois, le changement de page et le délai supplémentaire, et tu ne sais plus à quoi attribuer l'écart. Une version peut perdre non parce qu'elle est moins bonne, mais parce que la redirection l'a un peu ralentie, et la vitesse, on l'a vu ailleurs, pèse sur la conversion.
Le réflexe pour éviter ce piège est de neutraliser l'asymétrie, en s'assurant que les deux versions subissent des conditions comparables, ou en tenant compte du coût de la redirection dans l'interprétation. Plus largement, c'est un rappel que tout dispositif de test introduit ses propres artefacts, et qu'une bonne lecture exige de connaître ces artefacts pour ne pas les confondre avec l'effet mesuré. Le test de pages séparées est puissant pour les gros changements, à condition de ne pas oublier que la redirection elle même est une variable, et de ne pas lui faire porter le verdict d'un changement de page.
L'artefact : choisir ton dispositif selon ton changement
Pose toi ces questions pour choisir.
- Mon changement tient il dans des variations d'éléments ? Titre, bouton, image, agencement sur la même page. Si oui, variation d'éléments sur une URL, le dispositif léger.
- Mon changement est il une structure ou un parcours entièrement différent ? Si oui, pages distinctes, le dispositif lourd mais adapté.
- Ai je le trafic pour le dispositif choisi ? Les deux exigent l'échantillon nécessaire vu précédemment. L'ampleur du changement ne dispense pas du calcul de taille.
- Si pages séparées, ai je neutralisé la redirection ? Vérifie que le délai ajouté ne fausse pas la comparaison, sinon tu mesures la vitesse autant que le changement.
- Ignore les termes, raisonne en ampleur. Ne te demande pas si c'est un A/B test ou un split test, demande toi si ton changement tient dans une page ou exige deux pages.
Où tu commences : pour ton prochain test, décris d'abord précisément le changement, puis demande toi s'il tient dans des variations d'éléments ou s'il exige deux pages distinctes. Cette seule question, posée avant tout vocabulaire, te donne le bon dispositif.
Questions fréquentes
Quelle est la différence entre un A/B test et un split test ?
Un A/B test au sens strict fait varier des éléments (titre, bouton, image, agencement) sur une même page, à la même URL. Un split test, ou test d'URL fractionné, compare deux pages entièrement distinctes à deux adresses différentes, en répartissant le trafic, souvent par redirection. Les deux comparent deux versions sur la même période, mais à des échelles différentes : des éléments contre des pages entières.
Quand choisir un split test plutôt qu'un A/B test ?
Choisis selon l'ampleur du changement, pas selon le terme. Un changement localisé (titre, bouton, image) tient dans une variation d'éléments sur la même page, le dispositif léger et rapide. Un changement profond, une structure de page ou un parcours entièrement différents, exige deux pages distinctes, plus lourd mais adapté. La bonne question à te poser : mon changement tient-il dans une page ?
Quel est le piège du test par redirection ?
La redirection ajoute un léger délai de chargement à la version testée. Sans précaution, tu compares deux choses à la fois, le changement de page et ce délai, et une version peut perdre non parce qu'elle est moins bonne mais parce qu'elle a été ralentie. Neutralise cette asymétrie en assurant des conditions comparables aux deux versions, sinon tu mesures la vitesse autant que le changement.
Ce qu'il faut retenir
A/B test et split test sont employés comme synonymes, et cette confusion fait choisir le mauvais dispositif. En pratique, il existe deux façons de comparer deux versions sur la même période, la variation d'éléments sur une même page, légère, pour les changements localisés, et le test de pages distinctes, plus lourd, pour les changements de structure ou de parcours. Le bon choix ne dépend pas du terme employé mais de l'ampleur de ton changement, tient il dans une page ou exige t il deux pages. Méfie toi du piège de la redirection dans le test de pages séparées, qui ajoute un délai à ne pas confondre avec l'effet. Raisonne en ampleur, pas en vocabulaire. Si tu veux qu'un scan identifie les changements qui valent un test et leur ampleur, c'est l'objet du diagnostic CRO e-commerce.