Le journal des modifications de Vercel du 29 octobre indique que Mistral Large 4 sur AI Gateway utilise désormais des pondérations mises à jour et des prix inférieurs pour les jetons d'entrée, d'entrée en cache et de sortie. Les appelants existants utilisant l’ID de modèle n’ont pas besoin de modifier cet identifiant pour recevoir la version mise à jour.

Ce que les développeurs doivent vérifier

  • Comparez les tarifs actuels du fournisseur et le comportement du modèle avec la charge de travail réelle de l'application.
  • Consultez les notes de version du modèle avant de vous fier aux modifications apportées au codage, à la recherche ou au comportement en matière de sécurité.
  • Surveillez l'utilisation des jetons et la qualité des résultats après une mise à jour, en particulier pour les tâches structurées ou consécutives.

Vercel décrit AI Gateway comme une route unifiée pour les appels de modèles, le suivi de l'utilisation et les contrôles tels que les tentatives et le routage. Un point de terminaison partagé peut simplifier les opérations, mais ne supprime pas la nécessité de tester la sortie spécifique au fournisseur.

Considérez la qualité du modèle et les chiffres de coût comme étant sensibles au facteur temps. Consultez la documentation actuelle d'AI Gateway et de Mistral avant de définir un budget ou de choisir une production par défaut.