Coûts et latence dans les systèmes basés sur des modèles
Réduire le coût
Joindre moins de contexte ; acheminer les requêtes simples vers un petit modèle ; exploiter la mise en cache pour les parties fixes ; et regrouper ce qui n'est pas urgent.
Calculez le coût par unité commerciale — par requête, par utilisateur, par commande — pas seulement une somme mensuelle. C'est ainsi qu'on voit si la croissance est rentable.
Accélérer
Diffuser la réponse à l'utilisateur raccourcit l'attente perçue plus que toute autre optimisation. Raccourcir la longueur de la sortie aide directement. Et les tâches qui peuvent s'exécuter en parallèle — faites-les s'exécuter en parallèle.
Protéger le budget
Des plafonds quotidiens, des alertes au franchissement de seuil et une limite d'étapes dans les processus automatisés. Une boucle erronée peut brûler un budget mensuel en heures.
Pour aller plus loin
Étiquetez chaque appel par utilisateur, capacité et objectif. Sans étiquettes, la question « qu'est-ce qui a causé le pic » est répondue par des suppositions, et on ne peut pas désactiver la capacité chère et moins utile — qui existe presque toujours et ne se révèle que quand on regarde.