Vercel memperkenalkan Model Virtual untuk AI Gateway pada tanggal 28 Oktober. ID Model Virtual mewakili konfigurasi model khusus tugas yang dapat diubah secara terpusat sementara aplikasi terus menggunakan ID yang sama.
Konfigurasi di belakang satu ID model
- Tim dapat mengubah model penyedia yang dipilih dan mengonfigurasi fallback atau prioritas.
- Pengaturan Nol Retensi Data dapat dikaitkan dengan Model Virtual.
- Kontrol akses berbasis peran yang dapat mengubah konfigurasi bersama.
Vercel mengatakan perubahan konfigurasi disebarkan ke aplikasi dan agen menggunakan ID tanpa perubahan kode atau penerapan ulang. Opsi khusus penyedia masih memerlukan peninjauan saat berpindah penyedia.
Untuk lalu lintas produksi, uji model kandidat terhadap evaluasi yang representatif sebelum mengubah konfigurasi yang digunakan oleh semua pemanggil.