Tu lances un A/B test, tu attends, et au bout du compte, aucune version ne gagne nettement. Les deux convertissent pareil, l'écart n'est pas significatif. Le réflexe est de classer ça comme un échec, de hausser les épaules et de passer à autre chose. C'est une erreur, et elle te fait gaspiller la moitié de la valeur de tes tests. Parce qu'un test non concluant n'est pas une absence de résultat, c'est un résultat, et il te dit quelque chose d'utile, à condition de savoir le lire.
Le problème, c'est qu'un résultat nul peut vouloir dire plusieurs choses très différentes, et les confondre mène à de mauvaises décisions. Ton changement n'a peut être aucun effet réel. Ou il en a un, mais ton test n'avait pas la puissance de le détecter. Ou ton changement était trop timide pour bouger quoi que ce soit. Ces trois causes appellent des suites opposées, et c'est en les distinguant qu'un test non concluant devient une information précieuse. Voici comment le lire.
Trois causes opposées derrière un même résultat nul
Un test qui ne conclut pas affiche le même symptôme, pas d'écart significatif entre les versions. Mais ce symptôme unique recouvre trois situations distinctes. Première cause, ton changement n'a réellement aucun effet, les deux versions se valent vraiment aux yeux des visiteurs. C'est une vraie information, l'élément que tu pensais important ne l'est pas pour la conversion, et tu peux arrêter d'y consacrer de l'énergie.
Deuxième cause, ton changement a un effet réel, mais ton test manquait de puissance pour le détecter, faute de trafic ou de durée suffisants. Ici, le résultat nul ne dit rien sur ton changement, il dit seulement que ton test était trop faible pour trancher. C'est un problème de dispositif, pas de changement, et la suite n'est pas d'abandonner l'idée mais de retester avec plus de puissance, ou de renoncer si ton trafic ne le permet jamais. Confondre cette cause avec la première, conclure que le changement est inutile alors qu'on n'a simplement pas pu le mesurer, est l'erreur la plus fréquente et la plus coûteuse.
Troisième cause, ton changement était trop petit pour produire un effet détectable. Tu as modifié un détail dont l'impact, même réel, est trop ténu pour bouger la conversion de façon visible. Ici, le nul te dit que tu n'as pas visé assez gros, et la suite est de tester des changements plus ambitieux. Trois causes, trois lectures, trois suites, derrière un seul et même résultat apparent.
Pour mesurer ce que ces trois lectures changent en pratique, comparons deux réactions au même test non concluant.
- La mauvaise lecture. Le marchand a testé une refonte de sa fiche produit, le test n'a pas conclu. Il en déduit que la refonte ne sert à rien, abandonne l'idée, et garde l'ancienne fiche. Mais son trafic était faible, et le test n'avait jamais eu la puissance de détecter l'effet de la refonte, même réel. Il a confondu absence de preuve et preuve d'absence. Il vient d'enterrer un changement peut être bénéfique, sur la foi d'un test qui ne pouvait rien prouver, et il ne le saura jamais.
- La lecture utile. Le même marchand, devant le même nul, s'interroge. Il vérifie d'abord la puissance, son test avait il assez de trafic pour détecter l'effet visé. Il constate que non. Il en conclut, justement, que le test ne dit rien sur la refonte, seulement sur son dispositif. Il décide soit de retester sur plus longtemps, soit, si son trafic ne le permettra jamais, de s'appuyer sur les principes et le qualitatif pour trancher. Il n'a pas enterré son idée à tort, parce qu'il a distingué la cause du nul.
La leçon, c'est que le même résultat nul mène à des décisions opposées selon qu'on l'interprète ou qu'on l'enterre. Enterré, il fait abandonner des idées peut être bonnes et n'apprend rien. Interrogé, il referme des pistes vraiment mortes et préserve celles qui n'ont pas été équitablement testées.
Le résultat nul est une donnée, pas un échec
Je le pose nettement. Traiter un test non concluant comme un échec à oublier est un gâchis, parce que c'est jeter une information qu'on a payée en temps et en trafic. Un test bien conçu ne rate jamais, il renvoie toujours une information, gagnant, perdant, ou nul, et les trois sont utiles. Le nul, en particulier, est précieux, parce qu'il referme des pistes, il te dit ce qui ne bouge pas l'aiguille, et donc où ne plus investir.
Ma position, c'est qu'il faut interroger chaque résultat nul plutôt que de l'enterrer, en se demandant laquelle des trois causes est en jeu. Cette interrogation transforme un non-résultat apparent en apprentissage. Si le changement n'a vraiment aucun effet, tu as appris que cet élément n'est pas un levier, ne le retouche plus. Si le test manquait de puissance, tu as appris quelque chose sur ton dispositif, pas sur ton idée. Si le changement était trop petit, tu as appris à viser plus gros. Dans les trois cas, tu repars avec un savoir. Jeter le test, c'est refuser ce savoir et risquer de retomber dans la même impasse plus tard.
La règle d'or : ne jamais confondre absence de preuve et preuve d'absence
Il y a une distinction qui résume tout, et qui mérite d'être gravée. Un test non concluant est une absence de preuve, pas une preuve d'absence. Ne pas avoir prouvé qu'un changement a un effet n'est pas la même chose qu'avoir prouvé qu'il n'en a pas. La première situation laisse la question ouverte, la seconde la referme. Les confondre, c'est transformer un "on ne sait pas" en un "ça ne marche pas", et fermer une porte qu'on aurait dû laisser entrouverte.
Pour ne pas tomber dans le piège, le réflexe est de toujours vérifier la puissance avant d'interpréter un nul. Si le test avait l'échantillon nécessaire pour détecter l'effet visé et n'a rien trouvé, alors le nul est informatif, le changement n'a probablement pas l'effet espéré, c'est une vraie preuve d'absence. Si le test n'avait pas cet échantillon, le nul ne prouve rien sur le changement, c'est une simple absence de preuve, et la question reste ouverte. Cette vérification, qui renvoie directement au calcul de taille d'échantillon, est ce qui décide du sens à donner au nul. Sans elle, tout résultat non concluant est ambigu, avec elle, il devient interprétable.
La marche à suivre devant ton prochain nul
Devant un résultat nul, procède dans cet ordre.
- Vérifie la puissance du test. Avait il atteint l'échantillon nécessaire pour détecter l'effet visé. C'est la première question, elle décide de tout le reste.
- Si la puissance était suffisante, c'est une vraie information. Le changement n'a probablement pas l'effet espéré, cet élément n'est pas un levier, n'y reviens pas.
- Si la puissance était insuffisante, le test ne dit rien sur ton idée. Il dit que ton dispositif était trop faible. Reteste avec plus de trafic ou de durée, ou tranche autrement.
- Questionne l'ampleur du changement. Était il assez ambitieux pour produire un effet détectable. Si c'était un détail, vise plus gros au prochain test.
- Note l'apprentissage. Quelle que soit la cause, écris ce que ce test t'a appris, ce qui ne bouge pas, ce qu'il faut retester, ce qu'il faut viser plus grand. Le nul nourrit la suite.
Où tu commences : reprends ton dernier test non concluant et vérifie d'abord s'il avait la puissance de détecter l'effet visé. Cette seule question te dira si tu peux conclure que le changement est inutile, ou si tu as enterré une idée à tort.
Ce qu'il faut retenir
Un A/B test non concluant n'est pas un échec, c'est un résultat, et le jeter gaspille la moitié de la valeur de tes tests. Le même résultat nul recouvre trois causes opposées, ton changement n'a vraiment aucun effet, ou il en a un que ton test n'avait pas la puissance de détecter, ou il était trop petit pour bouger quoi que ce soit. La règle qui les départage, ne jamais confondre absence de preuve et preuve d'absence, et pour cela, vérifier d'abord la puissance du test. Avec assez de puissance, le nul informe vraiment, sans elle, il ne dit rien sur ton idée. Interroge chaque nul au lieu de l'enterrer. Si tu veux qu'un scan oriente tes tests vers des effets assez grands pour conclure, c'est l'objet du diagnostic CRO e-commerce.