L’Intelligence Artificielle a pris de court le monde des études de marché. Du jour au lendemain sont apparus des chatbots qui semblent avoir la réponse à tout. La recherche sectorielle en tant qu’industrie serait forcément chamboulée : l’accès à l’information n’a jamais été aussi facile. Même en étant convaincus que les modèles LLM qui apparaissent ne seront pas capables de fournir autant d’informations vérifiées et sourcées que nous, l’utilisation massive des chatbots IA a prouvé l’importance d’une nouvelle façon de livrer l’information. Une question posée doit générer une réponse rapide. Le temps de l'utilisateur est devenu le paramètre le plus important : s'il sait ce qu’il veut, nous devons être capables de lui dire rapidement si nous avons la réponse, la lui fournir et lui donner des outils pour approfondir ses recherches.
C’est de ce constat que naît SectorGPT, notre chatbot IA entraîné sur nos études de marché, articles de presse et fiches entreprises. Toutes les informations utilisées pour formuler des réponses sont donc vérifiées et sourcées. Après avoir lancé la v1, nous avons travaillé sur une v2 que nous avons comparé à nos concurrents.
Afin de mesurer l'efficacité des différents modèles LLM et de SectorGPT, nous avons créé une série de plus de 100 questions qui serviraient de test. Ces questions ont été choisies selon plusieurs critères : certaines ont déjà été posées par les utilisateurs de SectorGPT, d'autres ont été imaginées par nos équipes, et d'autres encore ont été générées par ces mêmes modèles LLM.
Les réponses aux questions ont toutes été notées. Notre baréme est simple, mais catégorique :
Le premier constat est sans appel : SectorGPT est bien plus performant que tous les autres modèles, avec 78% de réponses satisfaisantes contre 22%, 23%, 8% et 3% (Claude, Gemini, ChatGPT et Mistral respectivement). Le résultat est cohérent puisque les bases de données des modèles LLM n'absorbent pas d'information en continu et ne savent pas hiérarchiser les sources utilisées.
La performance de SectorGPT est aussi due à son modèle de fonctionnement : afin de formuler une réponse, SectorGPT doit d'abord trouver une information pertinente dans sa base de données, ce qui assure que toutes les réponses seront appuyées par une information concrète, un exemple, une donnée.
De l'autre côté, le fonctionnement des LLM classiques assure que leurs réponses seront majoritairement incomplètes : les informations sont rarement fausses, mais elles sont quasi systématiquement trop datées et imprécises.
SectorGPT fonctionne car il a été conçu pour notre métier, avec l'aide de spécialistes de la recherche sectorielle.