Coller un export GA4 dans une IA et lui demander ce qui cloche, c'est tentant. Elle te sort une analyse fluide, structurée, convaincante. Et parfois fausse, avec le même aplomb. L'IA est un accélérateur de lecture de données, pas un analyste. Voici la méthode que j'applique sur un tunnel SaaS, et surtout les trois endroits où elle te ment si tu la laisses conclure seule.
La méthode, en bref
Sur un tunnel SaaS, ce qui compte n'est pas le trafic, c'est la marche où il décroche. Prends Zovalide, un des SaaS que j'édite, la chaîne va de la visite à l'essai gratuit, puis de l'essai au payant, en offre Solo ou Agency. L'IA aide à trois choses, lire les tendances vite, segmenter par source ou par appareil, et formuler des hypothèses de test. Elle fait gagner des heures sur la lecture d'un tableau que tu mettrais une matinée à éplucher. Sur ce terrain elle est bluffante, donne-lui trois mois d'export par étape, elle te ressort en quelques secondes la marche qui saigne le plus, les segments qui sortent du lot, les tendances qui se dessinent. Ce repérage rapide vaut des heures de tableur, honnêtement. Le problème n'est jamais ce qu'elle voit, c'est ce qu'elle en conclut.
Elle ne doit jamais signer la conclusion. La nuance n'est pas cosmétique. Lire vite, c'est de la manutention, conclure juste, c'est du jugement, et les deux ne se logent pas au même endroit. L'IA excelle sur le premier et se vautre sur le second, toujours avec assurance. Voici les trois pièges, dans l'ordre où ils font le plus de dégâts.
Piège 1, elle confond corrélation et causation
Tu lui montres que les visiteurs venus de LinkedIn convertissent deux fois mieux. Elle conclut, LinkedIn est ton meilleur canal, investis. Peut-être. Ou peut-être que LinkedIn t'envoie surtout des gens déjà chauds, qui te connaissaient avant de cliquer, et que le canal ne cause rien, il sélectionne. Déplacer ton budget vers LinkedIn n'achèterait alors pas plus de conversions, juste plus de trafic déjà décidé ailleurs.
Le mécanisme a un nom, le besoin de récit. Notre cerveau, et le modèle qui a appris sur nos textes, préfère une histoire causale à une coïncidence, parce qu'une cause fait une meilleure phrase. Kahneman l'a décrit pour le système intuitif, il fabrique du lien là où il n'y a que de la corrélation, parce que le lien est plus satisfaisant à raconter. L'IA hérite de ce travers à la puissance dix, elle est entraînée à produire le texte le plus plausible, et une cause est toujours plus plausible qu'un "on ne peut pas savoir sans creuser". À toi de chercher la variable cachée avant de déplacer un euro.
Le même piège se cache partout dans un tunnel. Le canal email convertit deux fois mieux, l'IA te dit d'y investir, sauf qu'un email ne touche que des gens déjà inscrits, déjà intéressés, la conversion était acquise avant l'envoi. La page juste avant le paiement affiche un taux monstrueux, l'IA la déclare excellente, alors que seuls les acheteurs les plus décidés arrivent jusque-là. À chaque fois, une variable de sélection se déguise en variable de performance, et l'IA prend le déguisement pour la réalité.
Piège 2, le paradoxe de Simpson
Une tendance vraie sur l'ensemble peut s'inverser dans chaque segment. Ton taux d'essai vers payant monte globalement, mais baisse sur mobile et baisse sur desktop. L'ensemble monte seulement parce que la part de desktop, qui convertit mieux au départ, a augmenté dans le mix. Tu crois progresser, tu régresses partout, et la moyenne te ment par composition.
Ce n'est pas une bizarrerie de coin de table, c'est le paradoxe de Simpson, un piège statistique documenté depuis les années 1950. Son cas le plus célèbre, les admissions de l'université de Berkeley en 1973, semblaient défavoriser les femmes au global, alors que département par département, elles étaient admises à taux égal ou supérieur. L'explication, elles postulaient davantage dans les filières les plus sélectives. L'agrégat disait une chose, chaque segment disait le contraire, et c'est le segment qui avait raison.
Une IA qui lit ton agrégat sans segmenter reproduit exactement l'erreur de lecture de Berkeley sur ton tunnel. Elle voit la courbe monter, elle te félicite, elle passe à côté du renversement. Le seul remède, la forcer à segmenter avant de conclure, jamais après.
Comment le repérer sans être statisticien. Dès qu'une courbe globale bouge, regarde d'abord si la composition du mix a bougé en même temps. Plus de trafic desktop, plus d'une source qui convertit mieux, plus d'une cohorte différente, et ta hausse peut n'être qu'un effet de mélange. La règle pratique tient en une phrase, ne crois jamais un agrégat dont le mix a changé sans l'avoir découpé segment par segment. Si chaque segment raconte la même histoire que l'ensemble, tu peux avancer. Si un seul le contredit, c'est l'ensemble qui ment.
Piège 3, elle invente le pourquoi
Elle repère un décrochage entre l'essai et le payant. Elle ajoute, les utilisateurs ne perçoivent pas assez la valeur pendant l'essai. Ça sonne juste. Elle n'en sait rien.
GA4 te dit où, jamais pourquoi. Le "où" est une donnée, une marche, un taux, un segment. Le "pourquoi" est une intention, et aucune intention ne se trouve dans un export d'événements. Le pourquoi vient des enregistrements de session, des sondages à la sortie, du test utilisateur, pas d'une extrapolation de modèle. C'est le même mécanisme que pour un utilisateur synthétique qui invente une motivation, le modèle complète la suite la plus probable de ta question, il ne consulte aucun vécu. Une motivation générée par une IA est une phrase plausible posée sur un trou de donnée, pas une explication.
Le coût de cette invention est concret. Elle te dit que tes utilisateurs ne perçoivent pas la valeur pendant l'essai, tu passes un mois à refaire l'onboarding, et le décrochage ne bouge pas, parce que le vrai frein était un moyen de paiement manquant au moment de sortir la carte. Tu as corrigé la fiction bien écrite, pas le fait. Une fausse explication ne coûte pas seulement le temps de la corriger, elle coûte le temps où tu ne cherchais plus la vraie cause, rassuré par une phrase qui sonnait juste.
L'artefact, le prompt GA4 plus la checklist
Le prompt sans la vérification, c'est le piège lui-même. Voici les deux, le prompt qui cadre, la checklist qui garde.
Rôle : analyste data pour un tunnel de conversion SaaS.
Entrée : un export GA4 par étape, visite, essai, payant, avec les
segments source et appareil.
Tâche :
1. Localise la marche au décrochage le plus fort, en conversions perdues
absolues, pas en pourcentage seul.
2. Pour chaque écart notable entre segments, propose 2 explications
concurrentes, dont au moins une où le segment ne cause rien.
3. Signale tout cas où la tendance globale pourrait s'inverser par segment.
4. Formule des hypothèses testables, pas des conclusions.
Interdits : ne conclus jamais une cause, ne devine jamais une motivation,
distingue toujours ce que la donnée montre de ce que tu supposes.
Checklist à passer sur chaque sortie :
- La conclusion parle-t-elle en conversions perdues absolues, ou juste en pourcentage
- Chaque écart entre segments a-t-il une explication alternative où le canal ne cause rien
- Ai-je vérifié le renversement par segment avant de croire l'agrégat
- Toute affirmation sur un pourquoi est-elle marquée comme hypothèse à valider ailleurs
La sortie, sur la structure du tunnel
Un prompt se juge à ce qu'il rend. Voici ce que ça donne sur le tunnel Zovalide, en structure, sans un seul chiffre inventé, parce que les vrais chiffres t'appartiennent et que la valeur est dans la forme du raisonnement.
Analyse tunnel Zovalide, visite → essai → payant
Marche au décrochage le plus coûteux, en conversions perdues absolues :
essai → payant. C'est le mur qui fait vivre ou mourir le SaaS.
Écart entre segments, deux explications concurrentes :
Le segment "vient de LinkedIn" convertit mieux.
A. le canal amène des visiteurs déjà chauds, il sélectionne.
B. le canal persuade réellement, il cause.
Verdict : indéterminé sans test, ne pas déplacer de budget encore.
Renversement possible par segment :
une hausse globale essai → payant peut masquer une baisse
sur mobile ET sur desktop, si la part de desktop grimpe dans le mix.
Action : segmenter par appareil avant toute conclusion.
Hypothèses testables, pas des conclusions :
- la valeur perçue chute avant le mur du paiement, à valider par session.
- la friction d'activation retarde le moment aha, à valider par test.
Regarde ce que la sortie ne fait pas. Elle ne désigne aucun coupable, elle ne signe aucune cause, elle ne devine aucune motivation. Elle localise, elle met deux explications en concurrence, elle marque ce qui reste à vérifier. C'est une sortie qui t'oriente sans te mentir, à l'inverse d'un "ton canal LinkedIn est le meilleur, fonce" servi sans nuance.
Où l'humain reprend la main
Une objection légitime, l'IA peut segmenter elle-même, alors pourquoi la surveiller. Parce qu'elle sait segmenter, elle ne sait pas quelle segmentation compte. Découper par appareil, par source, par cohorte d'inscription, par offre, ce choix vient de ta connaissance du business, pas de la donnée brute. Une segmentation au hasard produit du bruit propre, une segmentation pertinente révèle le renversement. Le premier arbitrage, celui qui décide où couper la donnée, reste humain. Sur Zovalide, la segmentation qui compte n'est pas la même selon la question, par offre pour comprendre qui paie vraiment, par appareil pour traquer un Simpson, par cohorte d'inscription pour voir si une nouveauté a changé le comportement. Aucun export ne te souffle laquelle regarder, c'est la question business qui la dicte.
Et le dernier aussi. Même une lecture parfaite ne te dit pas si corriger la marche essai vers payant vaut le coût de dev, ni si le vrai levier n'est pas ailleurs. La donnée éclaire, elle ne décide pas. Entre les deux, il y a ton jugement, et c'est lui que la vitesse de l'IA doit libérer, pas remplacer.
Ce que tu retiens
GA4 plus l'IA, c'est un lecteur de données ultra-rapide et un mauvais juge. Utilise la vitesse, garde la conclusion, et fais passer chaque sortie par la checklist, absolus contre pourcentages, explication alternative, renversement par segment, pourquoi marqué comme hypothèse. C'est la marche essai vers payant qui fait vivre un SaaS, et c'est exactement le genre de fuite que je hiérarchise dans une Radiographie CRO. Si tu veux ce tri fait sur ton tunnel, c'est là.
Dans la même série
Cet article fait partie de mon pilier sur l'IA et l'audit CRO. Sur le même thème des mensonges de la machine, pourquoi les utilisateurs synthétiques mentent, et pour situer la lecture data dans la chaîne, le stack complet en sept étapes.