Vercel presentó los modelos virtuales para AI Gateway el 28 de octubre. Un ID de modelo virtual representa una configuración de modelo específica de una tarea que se puede cambiar de forma centralizada mientras las aplicaciones continúan usando el mismo ID.
Configuración detrás de una ID de modelo
- Los equipos pueden cambiar el modelo de proveedor seleccionado y configurar alternativas o prioridad.
- La configuración de Retención de datos cero se puede asociar con el modelo virtual.
- Controles de acceso basados en roles quién puede cambiar la configuración compartida.
Vercel dice que los cambios de configuración se propagan a las aplicaciones y agentes que utilizan el ID sin cambiar el código ni volver a implementarlo. Las opciones específicas del proveedor aún deben revisarse al cambiar de proveedor.
Para el tráfico de producción, pruebe un modelo candidato con evaluaciones representativas antes de cambiar la configuración utilizada por todos los llamantes.