Що змінилося в Model Router Azure AI Foundry і чому це важливо для продакшн-навантажень

Нові регіони та оновлений перелік моделей

Маршрутизатор тепер працює в 28 глобальних стандартних регіонах і 21 регіоні зон даних. Організації, які повинні тримати інференс всередині певних кордонів, можуть використовувати інтелектуальну маршрутизацію без перенесення даних.

Пул моделей одночасно розширився і скоротився. До складу додали Anthropic Claude Opus 4.8 для складного рассудження та генерації довгих текстів. Поруч з ним з'явилася родина GPT-5.6. Чотири моделі пішли: gpt-5-chat, gpt-5.2-chat. Також gpt-5.3-chat і Deepseek-V3.1 досягли кінця життєвого циклу і стали застарілими в Foundry. Ендпоінт залишився стабільним. Командам не потрібно перерозгортовуватись, щоб отримати новий пул. Додатки зберігають ту саму інтеграцію, а маршрутизатор оцінює запити за актуальним списком підтримки. Моделі Anthropic все ще потребують окремого розгортання перед тим, як маршрутизатор надішле на них трафік. У блозі рекомендують командам продовжувати моніторинг трас маршрутизації та результатів додатків, щоб переконатися, що вимоги до якості, вартості, затримки та управління виконуються.

Як маршрутизатор перетворює вибір моделі на цикл

Microsoft називає цей патерн «підйом на гору». Кожне рішення маршрутизації — це мікро-оптимізація. У кожній відповіді є поле model, яке показує, яку базову модель обрано. Цей підйом залишає повний аудитний слід.

Що команди все ще роблять самостійно

Оцінка залишається роботою людей. Команди мають надати репрезентативний трафік для A/B-тестів. Їм потрібно вивчати телеметрію для отримання інсайтів декомпозиції. Вони визначають цілі, що керують кожною мікро-оптимізацією.

Три патерни підтримують цикл. A/B-тестування порівнює дві конфігурації маршрутизатора на одному навантаженні. Команди вимірюють якість, витрати, затримку та результати управління перед просуванням переможця в продакшн. Декомпозиція моделей використовує маршрути