Vercel a présenté les modèles virtuels pour AI Gateway le 28 octobre. Un ID de modèle virtuel représente une configuration de modèle spécifique à une tâche qui peut être modifiée de manière centralisée pendant que les applications continuent d'utiliser le même ID.

Configuration derrière un ID de modèle

  • Les équipes peuvent modifier le modèle de fournisseur sélectionné et configurer des solutions de secours ou une priorité.
  • Les paramètres de rétention de données nulle peuvent être associés au modèle virtuel.
  • Contrôles d'accès basés sur les rôles qui peuvent modifier la configuration partagée.

Vercel indique que les modifications de configuration se propagent aux applications et aux agents à l'aide de l'ID sans modification de code ni redéploiement. Les options spécifiques au fournisseur doivent encore être revues lors du changement de fournisseur.

Pour le trafic de production, testez un modèle candidat par rapport à des évaluations représentatives avant de modifier la configuration utilisée par tous les appelants.