Tu auras toujours plus d'idées de tests que de capacité à les mener. Le trafic est limité, le temps aussi, et chaque test occupe une étape pendant des semaines. La vraie contrainte du CRO n'est pas de manquer d'idées, c'est de choisir lesquelles tester en premier. Et c'est précisément là que la plupart échouent, ils priorisent au feeling, en testant l'idée qui les enthousiasme le plus sur le moment, ou celle du dernier qui a parlé fort en réunion.
Le problème, c'est que le feeling se trompe systématiquement, parce qu'il privilégie ce qui est séduisant ou facile à imaginer, pas ce qui rapporte. Une méthode de priorisation corrige ce biais en forçant à évaluer chaque idée sur les mêmes critères explicites. Les deux plus connues sont ICE et PIE, et leur valeur n'est pas dans la précision de leurs chiffres, mais dans la discipline qu'elles imposent. Voici comment elles fonctionnent, pourquoi elles battent l'intuition, et comment t'en servir sans te leurrer sur leur exactitude.
Noter chaque idée sur des critères explicites
ICE et PIE sont deux grilles de notation qui décomposent la valeur d'un test en quelques critères, qu'on note pour chaque idée, puis qu'on combine en un score comparable. ICE évalue trois dimensions, l'impact attendu, soit l'effet du changement s'il marche, la confiance, soit la probabilité qu'il marche au vu de tes observations, et la facilité, soit le coût et l'effort de mise en oeuvre. PIE évalue le potentiel d'amélioration de la page, l'importance de la page en termes de trafic et de valeur, et la facilité de mise en oeuvre. Les deux aboutissent au même usage, un score par idée, qui permet de les classer.
Le mécanisme commun est de rendre explicite ce que l'intuition fait implicitement et mal. Quand tu priorises au feeling, ton cerveau pèse confusément l'impact, la probabilité et l'effort, mais en se laissant dominer par l'idée la plus vive, pas la plus rentable. En notant séparément chaque critère, tu forces une évaluation équilibrée, une idée séduisante mais à faible impact, ou à faible probabilité, ou très coûteuse, voit son score baisser, là où l'intuition l'aurait gardée en tête juste parce qu'elle plaisait.
Le score final n'a pas de valeur absolue, c'est un outil de comparaison relative. Il ne dit pas qu'un test vaut tant, il dit que tel test passe avant tel autre. Et c'est tout ce dont tu as besoin pour prioriser, un ordre, pas une mesure. La grille transforme une pile d'idées en une file ordonnée, du plus prometteur au moins, sur des critères que tu peux expliquer et défendre.
La valeur du scoring est la discipline, pas la précision
Je le pose nettement. Il ne faut pas se leurrer sur la précision de ces scores, les notes que tu attribues sont des estimations subjectives, et un score ICE de huit n'est pas scientifiquement supérieur à un sept. Croire le contraire, traiter ces chiffres comme des mesures exactes, est une erreur qui donne une fausse impression de rigueur. Ces grilles ne mesurent pas, elles ordonnent, et leur valeur est ailleurs que dans l'exactitude.
Ma position, c'est que la vraie valeur d'ICE ou PIE est la discipline qu'elles imposent, pas la précision qu'elles affichent. En te forçant à noter chaque idée sur l'impact, la probabilité et l'effort, elles t'obligent à penser explicitement ce que l'intuition escamote. Elles révèlent qu'une idée que tu adorais a en réalité un faible impact, ou qu'une idée ennuyeuse a un excellent rapport impact sur effort. Elles désamorcent les biais, l'enthousiasme pour le nouveau, la voix la plus forte en réunion, l'attrait du facile. Utilise donc le scoring comme un garde-fou contre ton propre feeling, pas comme un oracle. Le bon usage n'est pas de suivre aveuglément le classement, c'est de le confronter à ton jugement, et de t'expliquer chaque fois que tu veux t'en écarter. Le score discipline l'intuition, il ne la remplace pas.
La priorisation au feeling contre la priorisation par score
Comparons deux façons d'ordonner la même pile d'idées de tests.
- La priorisation au feeling. L'équipe a dix idées. On teste d'abord celle qui a généré le plus d'enthousiasme en réunion, une refonte visuelle séduisante mais dont l'impact réel sur la conversion est incertain et l'effort énorme. Pendant des semaines, le trafic de test est mobilisé là dessus. Pendant ce temps, une idée modeste mais à fort rapport impact sur effort, afficher les frais de port plus tôt, attend son tour. On a priorisé le séduisant, pas le rentable, et on a payé ce choix en semaines perdues.
- La priorisation par score. L'équipe note ses dix idées sur l'impact, la confiance et la facilité. La refonte séduisante obtient un impact incertain, une confiance moyenne et une facilité faible, donc un score modeste. L'affichage des frais plus tôt obtient un impact élevé, une confiance élevée, fondée sur l'observation, et une facilité grande, donc un score fort. Le classement remonte cette idée modeste en tête. On la teste d'abord, et elle rapporte vite. L'ordre a suivi la rentabilité, pas la séduction.
La leçon, c'est que le scoring ne rend pas les idées meilleures, il les ordonne mieux, en sortant les idées rentables de l'ombre où le feeling les laissait. La même pile d'idées, priorisée à l'instinct ou au score, mène à commencer par des tests opposés, et donc à des semaines de trafic dépensées très différemment.
Choisir entre ICE et PIE, et ne pas en faire une religion
Faut il préférer ICE ou PIE. La réponse honnête est que ça importe peu, les deux capturent les mêmes idées de base, l'effet attendu, la probabilité, l'effort, avec des découpages légèrement différents. ICE met l'accent sur la confiance dans l'hypothèse, ce qui convient quand tu as des observations de qualité inégale. PIE met l'accent sur l'importance de la page, ce qui convient quand tu arbitres entre des pages de trafic très différent. Prends celle qui te parle, ou adapte les critères à ton contexte, l'essentiel est d'avoir une grille stable, appliquée à toutes les idées de la même façon.
Le piège à éviter est d'en faire une religion, de passer plus de temps à débattre des notes qu'à tester. Le scoring doit être rapide, c'est un tri, pas une thèse. Note vite, classe, lance le premier, et garde la grille comme un outil de discussion, pas comme un tribunal. Si deux idées ont des scores proches, leur ordre exact importe peu, teste l'une puis l'autre. La grille sert à éviter les grosses erreurs de priorisation, tester un détail coûteux avant une grosse fuite facile, pas à départager finement deux bonnes idées. Garde la légère, et elle restera utile.
Prioriser tes tests proprement
Mets en place une priorisation disciplinée.
- Liste toutes tes idées de test au même endroit. Sans tri d'abord, juste les rassembler, pour les évaluer ensuite sur un pied d'égalité.
- Choisis une grille et tiens t'y. ICE, impact, confiance, facilité, ou PIE, potentiel, importance, facilité. Peu importe laquelle, l'important est de l'appliquer à toutes.
- Note vite, sur la même échelle. Attribue chaque critère sur une échelle simple, sans agoniser sur les décimales. C'est un tri, pas une mesure exacte.
- Classe et commence par le haut. Le score donne l'ordre. Lance le test en tête, en respectant toujours le calcul de taille d'échantillon.
- Confronte le classement à ton jugement. Si tu veux t'écarter de l'ordre, oblige toi à expliquer pourquoi. La grille discipline l'intuition, elle ne la supprime pas.
Où tu commences : rassemble tes idées de test actuelles et note les avec une grille unique. Tu verras presque toujours apparaître une idée à fort impact et faible effort que ton feeling avait reléguée derrière une idée plus séduisante mais moins rentable. C'est elle, ton premier test.
Ce qu'il faut retenir
Tu auras toujours plus d'idées de tests que de trafic pour les mener, donc la vraie compétence est de prioriser, et le feeling se trompe parce qu'il privilégie le séduisant sur le rentable. ICE et PIE corrigent ce biais en notant chaque idée sur des critères explicites, impact, confiance ou importance, et facilité, pour les ordonner. Mais ne te leurre pas sur la précision de ces scores, leur valeur n'est pas l'exactitude, c'est la discipline qu'ils imposent à ton intuition. Choisis une grille, applique la vite et également à toutes tes idées, classe, commence par le haut, et explique tout écart. Si tu veux qu'un scan identifie les fuites à fort impact qui méritent la tête de ta file de tests, c'est l'objet du diagnostic CRO e-commerce.