50 prompts suffisent-ils pour mesurer la visibilité IA ?

HubSpot a récemment publié une recommandation claire pour le suivi de la visibilité IA : la qualité avant la quantité. Quelques prompts formulés avec précision seraient plus parlants qu’un ensemble volumineux et que 25 à 50 prompts suffiraient amplement. Il se trouve que, l’outil AEO maison de HubSpot autorise exactement 50 prompts.

La recommandation semble logique. Pour un produit grand public, elle l’est probablement. Pour une entreprise industrielle au portefeuille de produits complexe, elle est méthodologiquement sous-dimensionnée et quiconque mesure ainsi prend des décisions de contenu sur la base d’un extrait arbitraire plutôt que d’une analyse solide. 

Là où cette recommandation est juste

D’abord, par souci d’équité : trois des quatre principes de HubSpot sont parfaitement corrects, et nous les défendons également.

Les prompts doivent être réalistes en matière d’intention, c’est-à-dire refléter des questions que de vrais prospects poseraient réellement tout au long de leur parcours d’achat. Les prompts contenant son propre nom de marque faussent le résultat ; il faut mesurer la visibilité non-brand, c’est-à-dire les sujets sur lesquels on veut être trouvé sans que l’utilisateur connaisse déjà l’entreprise. Les prompts non pertinents génèrent du bruit qui dévalorise toute analyse.

La qualité est donc une condition préalable. Le problème se trouve en réalité là où la qualité est opposée à la couverture, comme s’il s’agissait d’un compromis. Ce n’est cependant pas le cas. Ce sont deux dimensions indépendantes, et la seconde est tout simplement mise de côté par définition dans la recommandation.

La logique grand public derrière le chiffre

La justification que HubSpot donne pour cette faible quantité de questions révèle pour quel monde elle a été conçue : les utilisateurs n’auraient que quelques questions concrètes sur un produit. Ils voudraient donc s’informer, trouver la meilleure offre et acheter.

Cela décrit l’achat d’un smartphone. Une personne, un parcours court, une poignée de questions dominantes (« meilleur smartphone pour la photographie », « iPhone ou Samsung »). L’espace de prompts pertinent est très concentré : quelques prompts de tête couvrent l’essentiel de la demande réelle. Ici, 30 prompts précis peuvent effectivement fournir une image exploitable.

Une décision d’achat de biens d’équipement fonctionne d’une autre manière.

La combinatoire d’un portefeuille industriel

Prenons cette fois un fabricant développant des technologies de mesures, un cas typique de notre pratique de conseil. Le nombre de prompts pertinent résulte de la multiplication de plusieurs dimensions :

Six domaines thématiques ou champs technologiques. Plusieurs lignes de produits par domaine. Un centre d’achat avec quatre rôles qui posent des questions différentes. Ici l’ingénieur s’interroge sur les principes de mesure et les classes de précision, la maintenance sur les intervalles d’entretien et les pièces de rechange, les achats sur les comparaisons de fournisseurs et les délais de livraison, le responsable sécurité sur les certifications ATEX et les normes. Trois phases de parcours, de la définition du problème à la comparaison des fournisseurs. Plusieurs secteurs d’application dans lesquels le même produit suscite des questions totalement différentes. Tout cela dans plusieurs langues si le marché européen ou internationaux doivent être couverts.

Même avec un seul prompt par combinaison, on dépasse largement les 50. Lorsqu’on se limite à 50 questions, on ne mesure pas le sujet, on mesure un extrait dont la sélection détermine ce qu’il voit. Quel persona disparaît ? Quel secteur ? Quelle langue ? Chacune de ces décisions fausse le résultat, sans que cela soit visible dans un tableau de bord.

Il faut également ajouter la longue traîne technique. Dans le B2B industriel, la demande décisive pour l’achat se trouve rarement dans des prompts de tête génériques, mais dans des questions très spécifiques comme « bascule à bande continue pour produits en vrac abrasifs en zone Ex 21 ». Rarement posées individuellement, elles constituent ensemble le marché. C’est précisément dans cette longue traîne que les spécialistes peuvent s’imposer face à des concurrents plus grands et c’est précisément cela qui disparait en premier s’il on se contente de seulement 50 prompts.

Le problème statistique : les réponses IA ne sont pas des classements

Il existe une deuxième différence, plus fondamentale. Les classements de recherche classiques sont déterministes : la position 3 est la position 3. Les réponses IA sont aléatoires. La même question produit des réponses différentes, avec des mentions de marques différentes, selon le modèle, le jour et la formulation.

Les indicateurs de visibilité fiables comme le Share of Model ou la Citation Frequency résultent de trois facteurs : le nombre de prompts multiplié par les répétitions, elles-mêmes multipliées par les modèles interrogés. Plus l’ensemble de prompts est petit, plus le bruit aléatoire des réponses individuelles se répercute sur l’indicateur global et moins toute analyse d’écart concurrentiel qui s’y appuie a de valeur. HubSpot recommande également de suivre les données mensuellement afin de ne pas surréagir aux fluctuations normales des modèles. C’est l’aveu du problème, pas sa solution : les fluctuations ne se stabilisent pas dans le temps, mais sur un échantillon suffisant.

Quand la bonne pratique correspond exactement à la limite du produit

Alors, pourquoi une plateforme marketing expérimentée comme HubSpot émet une recommandation qui, pour des portefeuilles complexes, est si manifestement insuffisante ? Parce que le plafond recommandé de 50 prompts correspond exactement au plafond technique de son propre outil AEO.

Ce n’est pas nécessairement de la mauvaise foi. HubSpot est conçu comme une plateforme pour une clientèle large et majoritairement non industrielle, où cette limite est rarement un problème. Mais c’est un schéma qu’il faut connaître : lorsqu’un fournisseur explique qu’aller au-delà de la limite de son propre produit n’a de toute façon aucun sens, il vaut mieux examiner la méthodologie. Une réponse sérieuse à la question « De combien de prompts ai-je besoin ? » ne part pas de l’outil ; elle part de l’espace thématique de l’entreprise.

La bonne question : quelle est la taille de votre espace thématique ?

La démarche méthodologique propre sous-entend de structurer l’espace thématique pertinent (domaines thématiques, rôles du centre d’achat, phases du parcours, secteurs, marchés et langues). Il en résulte la couverture de prompts nécessaire. Ensuite, chaque prompt est vérifié quant à son intention réelle. Enfin, il faut mesurer par des requêtes répétées auprès de plusieurs systèmes d’IA, au lieu de déduire la visibilité de réponses isolées.

C’est exactement ainsi que nous travaillons avec aiva : l’ensemble de prompts est dérivé de l’activité du client, pas d’une limite de plateforme. Le résultat est un Share of Model qui amortit statistiquement les fluctuations, une analyse des citations qui montre quelles sources alimentent réellement les réponses IA. Ajoutons à cela une analyse d’écart concurrentiel qui couvre aussi la longue traîne technique, là où les entreprises industrielles ont leurs véritables forces.

La qualité avant la quantité, c’est la moitié du chemin parcouru. La vérité est que la qualité est une condition préalable, la couverture est une obligation et le niveau de couverture nécessaire est déterminé par la complexité de votre portefeuille, pas par la limite d’un outil. 

Pour un produit grand public, les 50 prompts de HubSpot AEO peuvent suffire. Pour une entreprise industrielle avec plusieurs lignes de produits, un centre d’achat à plusieurs têtes et des marchés internationaux, ils relèvent de la fausse précision : une mesure précise, mais sur le mauvais extrait.

Vous voulez savoir quelle est la taille de votre espace thématique pertinent et quelle est votre visibilité aujourd’hui ? 
Une analyse aiva répond aux deux en chiffres.

Notre présentation aiva
Intéressé(e) par aiva ? Contactez-nous !