Le message d'ingénierie de Cloudflare du 19 octobre décrit un effort interne visant à réduire le coût de son réviseur de code IA. La société signale une baisse de 68 % du coût moyen par avis par rapport à ses semaines les plus coûteuses, ainsi qu'un délai d'examen médian plus court.

D’où viennent les économies

  • Cloudflare attribue environ 40 % des économies aux modifications apportées au code du réviseur.
  • Le reste du travail comprenait des expériences sur la sélection de modèles et sur l'effort nécessaire à chaque modèle.
  • L'article décrit également un taux de réussite du cache d'invite plus élevé, tout en notant que le nombre total de jetons par examen a augmenté.

Ces mesures décrivent la propre charge de travail de Cloudflare et ne prédisent pas les coûts d'une autre base de code. L'article met l'accent sur la mesure conjointe de l'utilisation des jetons, de la qualité du modèle, de la latence et des niveaux d'examen plutôt que sur l'optimisation d'un numéro isolé.

Pour les équipes qui créent des évaluations assistées par l'IA, comparez les changements représentatifs avant et après chaque optimisation et laissez l'évaluation humaine responsable des décisions importantes.