L’avènement de l’ère numérique a été marqué par une cascade d’innovations, mais l’impact de ChatGPT sur l’expérience utilisateur se distingue nettement. Contrairement aux chatbots classiques, qui peuvent souvent se sentir limités dans leurs réponses, ChatGPT tire parti de milliards de mots et de structures linguistiques pour fournir des interactions naturelles et fluides. Cette profonde compréhension du langage est renforcée par la capacité de ChatGPT à converser en plusieurs langues, rendant l’information accessible à une audience globale sans les entraves des barrières linguistiques.
L’une des forces majeures de ChatGPT réside dans ses réponses contextuelles. Il ne s’agit pas simplement de répondre à une question, mais de comprendre le contexte dans lequel elle est posée, ce qui augmente la pertinence et la précision de chaque interaction. Cette adaptabilité est encore renforcée par la capacité du système à traiter les questions posées de différentes manières, garantissant que l’utilisateur obtient une réponse cohérente quelle que soit sa formulation.
En bref, ChatGPT transcende le concept d’un simple outil numérique. Il incarne une évolution significative de la façon dont la technologie et l’humain se rencontrent, où chaque conversation est centrée sur l’utilisateur, informée, précise et extrêmement pertinente.
Comme toute (r)évolution technologique, celle-ci a un prix
ChatGPT, reposant sur une architecture avancée d’intelligence artificielle, nécessite une infrastructure robuste et complexe. Gérant des milliards de paramètres, il requiert des serveurs hautement performants et une capacité de stockage conséquente. De plus, le traitement en temps réel des requêtes des utilisateurs exige une immense puissance de calcul. Ainsi, maintenir son fonctionnement optimal représente un défi constant, avec des besoins évolutifs en matière d’énergie et de maintenance.
Pour le client final – entreprise – la tarification est calquée sur le coût du service : à la requête. Avec une subtilité, c’est le volume de données traitées qui compte : la taille de la requête en elle-même, ainsi que la taille de la réponse générée. Et pour complexifier l’équation, le calcul se fait sur une base de « tokens », des segments de texte de taille variable (1 à N caractères) constituants les mots. On accepte en général que 1000 tokens correspondent à environ 750 mots.
Le Coût Direct des Requêtes
Avant toute chose, précisons que les données de cet article sont valables au moment de l’écriture mais qu’elles peuvent être amenées à changer. L’objectif n’est pas de fournir de réels éléments tarifaires mais d’ouvrir un débat sur le coût d’une solution telle que ChatGPT considérant l’accroissement de l’utilisation qui en est faite.
L’article sera construit autour des hypothèses suivantes :
- Trois solutions : Chat GPT en tant que tel, et Azure Open AI, implémentation sur les services de Microsoft, avec le modèle GPT3.5 Turbo et GPT 4.
- Le nombre global de tokens utilisés est ventilé 10% à la requête et 90% à la réponse.
- La considération qu’une requête correspond à l’utilisation de 20 tokens pour la question, et 180 tokens pour la réponse.
- Nous ne tenons compte que des coûts d’utilisation, excluant de fait tous les coûts de mise en service, entraînement spécifique, amélioration continue, etc.
- Un nombre de requêtes quotidiennes.
Si on ne tient compte que du nombre de requêtes, nous pouvons projeter les coûts suivants (en euro) :
| Nombre de requêtes | Chat GPT | Azure Open AI
GPT 3.5 Turbo (4K) |
Azure Open AI
GPT 4 (8K) |
||
| 5 | 0,173 | 0,0035 | 0,144 | ||
| 10 | 0,346 | 0,007 | 0,288 | ||
| 100 | 3,46 | 0,07 | 2,88 | ||
| 1 000 | 34,6 | 0,7 | 28,8 | ||
| 10 000 | 346 | 7 | 288 | ||
| 100 000 | 3460 | 70 | 2880 | ||
| 1 000 000 | 34600 | 700 | 28800 | ||
Mais évidemment, le nombre de requête est imprédictible. Il est lié au nombre d’utilisateurs, au nombre de canaux de communications ouverts avec l’agent conversationnel, au nombre de périmètres métiers qui sont adressés ; et si le nombre d’utilisateur peut être défini dans un environnement intranet clos, quid de la mise à disposition sur un site internet public ?
Concrètement, combien ça me coûte ?
Prenons l’exemple d’un site d’e-commerce avec un million de visites mensuelles. Si chaque visiteur adresse un « Bonjour » au chatbot, avec la réponse par défaut « Bonjour ! Comment puis-je vous aider aujourd’hui ? » nous avons 13 000 000 de tokens utilisés, soit l’équivalent de 13 000 requêtes.
400€ par mois juste pour gérer une réponse à un « bonjour » peuvent paraître absurdes. Mais c’est le principe de ces modèles de langage : de la puissance de calcul est nécessaire pour identifier chaque mot à aligner dans la réponse, le modèle économique est donc calqué sur le modèle de coût de la technologie.
Et donc, plus le modèle est sollicité, plus il coûte cher !
Si vous démultipliez les points d’accès (Microsoft 365, site internet, WhatsApp, etc.) et le nombre d’utilisateurs la probabilité d’une augmentation forte – voir incontrôlée – de la consommation devient très élevée.
Cependant, les avantages de ces agents sont indéniables et leur évolution future est très prometteuse.
Comment contrôler les coûts de ces services ?
À cette question, plusieurs solutions peuvent être imaginées : techniques, organisationnelles ou éducatives.
Techniquement, il est possible de limiter l’utilisation du service en agissant soit sur le nombre tokens par requête ou la qualité du modèle à implémenter (par exemple passer de GPT 4 à 3.5), soit sur l’accès au service (en limitant l’usage à des canaux particuliers, ou à des utilisateurs restreints). Mais quelles qu’elles soient, ces solutions techniques vont à l’encontre du principe même de ces agents conversationnels : être disponible a toute heure, pour toute question.
Du point de vue organisationnel, les solutions ouvrent beaucoup plus à discussion. De l’ordre de la gouvernance, elles peuvent regrouper la mise en place de politiques d’utilisation, de rôles de responsabilité, de planification de revues de coûts et d’usage, etc.
Enfin les solutions éducatives passent principalement par la formation des utilisateurs à cette nouvelle interface de communication. Principalement parce qu’il est difficile de les mettre en place dans le cadre d’une utilisation sur un site public, dans le cadre duquel on n’attend aucune restriction en tant qu’utilisateur du service.
Toutes ces solutions ont néanmoins un impact limité sur l’utilisation du service. Il est difficile d’imaginer brider une solution qui apporte une satisfaction et une forte adhésion. Mais il est tout à fait possible de mitiger les usages !
Et Hubi.ai dans tout ça ?
Chez Hubi, nous avons choisi l’hybridation. Parce que sur un périmètre connu, la majeure partie des réponses attendues doit être validée et toujours délivrée strictement de la même façon, il n’est absolument pas nécessaire d’implémenter un modèle comme ChatGPT. Notre proposition est simple :
Fournir à la fois une surface de données qualifiées et la possibilité de déborder sur un modèle de LLM si une donnée qualifiée n’a pas été trouvée !
Avec cette approche et la stratégie d’apprentissage renforcée qui convient, très rapidement, votre solution hybride verra sa quantité de données qualifiées augmenter et de fait, la quantité de requêtes nécessitant ChatGPT diminuer. Le meilleur des deux mondes qui permet d’abaisser significativement le coût de la solution.
Si vous souhaitez en savoir plus sur notre solution Hubi, n’hésitez pas à demander votre démo !