Beaucoup de boutiques lancent des A/B tests qui ne pouvaient pas conclure dès le départ, parce qu'elles n'avaient pas assez de trafic pour détecter l'effet qu'elles cherchaient. Elles lancent le test, attendent, voient un petit écart entre les deux versions, et concluent à tort, soit qu'une version gagne alors que l'écart est du hasard, soit qu'il n'y a pas de différence alors que le test n'avait simplement pas la puissance de la voir. Dans les deux cas, le verdict est faux, et il l'était avant même de commencer.
La taille d'échantillon n'est pas un raffinement de statisticien, c'est la condition de possibilité d'un test fiable. Avant de lancer un A/B test, tu dois savoir combien de visiteurs il te faut pour pouvoir conclure, et donc combien de temps il tournera, et donc s'il est seulement réaliste avec ton trafic. Voici de quoi dépend cette taille, pourquoi un petit site teste structurellement mal les petits effets, et comment savoir si tu peux tester.
Quatre facteurs décident de la taille nécessaire
Le nombre de visiteurs requis pour un A/B test fiable dépend de quatre facteurs liés. Le premier, ton taux de conversion de départ, le taux actuel de la version de référence. Plus il est bas, plus il faut de trafic, parce qu'un événement rare demande plus d'observations pour être mesuré avec précision. Le second, l'effet minimal que tu veux pouvoir détecter, souvent appelé effet minimal détectable. C'est le facteur le plus déterminant et le plus mal compris, plus l'effet que tu cherches est petit, plus il faut de trafic pour le distinguer du bruit. Détecter un gain de cinquante pour cent demande peu de monde, détecter un gain de deux pour cent en demande énormément.
Les deux autres facteurs sont les seuils de fiabilité que tu te fixes. Le niveau de confiance, souvent quatre vingt quinze pour cent, qui mesure le risque de conclure à un gagnant qui n'en est pas un, un faux positif. Et la puissance, souvent quatre vingts pour cent, qui mesure la capacité du test à détecter un effet réel s'il existe, donc le risque de manquer un vrai gagnant. Plus tu veux être sûr, plus il faut de trafic. Ces deux seuils sont des conventions, pas des lois, mais les relâcher pour réduire la taille requise revient à accepter plus d'erreurs.
Le mécanisme à retenir, c'est que ces quatre facteurs se combinent pour donner un nombre de visiteurs par version, et que ce nombre explose quand le taux de départ est bas et l'effet cherché petit. C'est purement mathématique, et ça ne se contourne pas par la volonté. Un test a besoin de son échantillon comme une photo a besoin de sa lumière, en dessous, l'image est floue, quoi qu'on en dise.
Sans calcul préalable, ton test est un pari déguisé en science
Je le pose nettement. Lancer un A/B test sans avoir calculé la taille d'échantillon nécessaire, c'est faire un pari en croyant faire une expérience. Tu vas regarder l'écart entre les deux versions et lui donner un sens, alors que sans l'échantillon requis, cet écart n'a aucune signification, il est dans la marge du hasard. Pire, tu vas souvent t'arrêter dès que l'écart te plaît, ce qui garantit de conclure à tort, parce qu'à tout moment, le hasard crée des écarts passagers qui s'effacent ensuite.
Ma position, c'est que le calcul de taille d'échantillon doit précéder le test, pas le suivre. Avant de lancer, tu poses ton taux de départ, l'effet minimal que tu veux détecter, tes seuils de confiance et de puissance, et tu en déduis le nombre de visiteurs et donc la durée. Ce calcul te dit une chose cruciale, si le test est seulement faisable. S'il faudrait six mois pour atteindre l'échantillon, le test n'est pas réaliste, et mieux vaut le savoir avant de perdre six mois que de conclure faussement au bout de deux semaines. Connaître sa taille d'échantillon, c'est savoir d'avance si on peut jouer, plutôt que de jouer en croyant mesurer.
Le test sous-dimensionné contre le test calibré
Comparons deux A/B tests sur la même boutique.
- Le test sous-dimensionné. Le marchand teste un petit changement, il espère un gain de quelques pour cent, sur une boutique au trafic modeste. Il ne calcule rien, lance, et au bout de dix jours voit la version B devant de trois pour cent. Il déclare B gagnante et la déploie. Mais avec son trafic, il aurait fallu des mois pour qu'un gain de cette taille soit distinguable du hasard. Son écart de trois pour cent était du bruit, et la semaine suivante, la même comparaison aurait pu donner A devant. Il a déployé une illusion.
- Le test calibré. Le marchand calcule d'abord. Avec son taux de départ et le gain qu'il vise, il lui faudrait un nombre de visiteurs qu'il n'atteindra qu'en quatre mois. Il en tire deux conclusions saines, soit il vise un effet plus gros, donc un changement plus ambitieux détectable plus vite, soit il renonce à l'A/B test pour ce cas et valide autrement. Dans les deux cas, il ne lance pas un test condamné d'avance, et il ne déploiera pas une illusion.
La leçon, c'est que le calcul de taille ne sert pas qu'à dimensionner, il sert à décider si tester a un sens. Le test sous-dimensionné donne un faux verdict avec assurance, le test calibré donne soit un vrai verdict, soit la lucidité de ne pas tester. La rigueur en amont évite l'illusion en aval.
Pourquoi le petit trafic change la stratégie de test
La conséquence pour une petite boutique est structurelle, pas anecdotique. Avec peu de trafic, tu ne peux pas détecter les petits effets dans un délai raisonnable, point. Cela ne veut pas dire que tu ne peux pas optimiser, mais que ta stratégie de test doit s'adapter. Plutôt que de tester de petites variations, bouton, couleur, formulation, dont l'effet serait noyé dans le bruit, vise des changements à fort effet potentiel, refonte d'une étape, levée d'un obstacle majeur, dont le gain sera assez grand pour être détectable avec ton volume.
Cette contrainte a un avantage caché, elle te force à prioriser les changements qui comptent. Un petit site qui ne peut tester que les gros effets est poussé à s'attaquer aux vraies fuites, pas à peaufiner des détails. Il échange la finesse statistique contre l'ambition des changements. Et pour tout ce qui reste trop fin pour être testé chez lui, il s'appuie sur les principes éprouvés ailleurs et sur le qualitatif, comme vu dans la validation. La leçon est libératrice plutôt que décourageante, un petit trafic n'interdit pas d'optimiser, il interdit de tester des broutilles, et oriente vers les changements qui valent vraiment le coup.
Savoir si tu peux tester
Avant tout A/B test, fais ce calcul de faisabilité.
- Relève ton taux de conversion de départ sur l'étape ou la métrique visée. Plus il est bas, plus il faudra de trafic.
- Fixe l'effet minimal à détecter. Sois honnête, vises tu un gain réaliste. Plus l'effet visé est petit, plus l'échantillon explose.
- Pose tes seuils. Confiance autour de quatre vingt quinze pour cent, puissance autour de quatre vingts, conventions raisonnables à ne relâcher qu'en connaissance de cause.
- Déduis le nombre de visiteurs et la durée. Un calculateur de taille d'échantillon te donne le volume par version, divise par ton trafic pour obtenir la durée.
- Décide. Si la durée est raisonnable, lance. Si elle est démesurée, vise un effet plus gros, ou valide autrement. Ne lance jamais un test que ton trafic condamne.
Où tu commences : prends ton prochain test envisagé, et calcule sa durée nécessaire avec ces éléments. Si elle dépasse plusieurs mois, c'est le signal de viser un changement plus ambitieux ou de renoncer à l'A/B test pour ce cas, avant d'avoir perdu du temps sur un test qui ne pouvait pas conclure.
Ce qu'il faut retenir
La taille d'échantillon décide si ton A/B test peut conclure, et elle dépend de quatre facteurs, ton taux de départ, l'effet minimal que tu veux détecter, et tes seuils de confiance et de puissance. Plus ton taux est bas et l'effet cherché petit, plus il faut de trafic, et ça ne se contourne pas. Lancer sans calculer, c'est parier en croyant mesurer, et s'exposer à déployer une illusion née du bruit. Calcule avant, pour savoir si le test est seulement faisable. Et accepte que sur un petit trafic, tu ne puisses tester que les gros effets, ce qui te force utilement à viser les changements qui comptent. Si tu veux qu'un scan repère les fuites assez grosses pour valoir un test chez toi, c'est l'objet du diagnostic CRO e-commerce.