Що змінюється, коли мовна модель отримує патч-реліз, як програмне забезпечення?

Архітектура, що робить патчі можливими

Granite Switch — це модульна система. Одинакова базова модель залишається незмінною, тоді як спеціалізовані адаптери підключаються до неї. Кожен адаптер додає власну здатність — розпізнавання мови та прийняття рішень. Чат теж підтримується. Все це без зміни базових ваг. Реліз 4.1 продемонстрував цей підхід. Реліз 4.1.1 доводить, що він працює і для інкрементальних оновлень.

Нічого не перераховували. Базова модель залишилася точно такою ж.

Що роблять нові адаптери

Оновлена модель Granite Speech ASR перетворює мову на текст для 10 мов. Вона відразу ставить розділові знаки та великі літери. Транскрипції готові для наступних моделей без додаткового форматування. Ідентифікатор моделі — ibm-granite/granite-speech-5.0-470m-turboctc. Вага — 0,5 млрд параметрів. Завантажень — 61,3 тис. Лайків — 111.

Адаптер Decision у granitelib-core показує кращі результати на тесті Jev Decision Index. Ідентифікатор основної бібліотеки — ibm-granite/granitelib-core-r1.0. Завантажень — 5,27 тис. Лайків — 42. Головна модель Switch — ibm-granite/granite-switch-4.1-30b. Вона містить 30 млрд параметрів. Завантажень — 2,76 тис. Лайків — 42.

Як вийшов реліз без перенавчання основи

Навчання нової ASR-моделі та адаптера Decision стало єдиними витратами обчислень. Базову модель заморозили. Ось суть. У традиційних релізах зміна версії часто означає повне перенавчання. Тут це — нові адаптери на тому ж чекпоінті. Команда випустила оновлення через тиждень після 4.1. Швидкість і ефективність — головне.

Живий демо-простір Speech to Decisions with Granite запускає новий стек. Він показує, як одна модель Granite Switch чує мову й оцінює її. Простір повідомляє про 67 запущених екземплярів. Колекція Granite Switch об'єднує п'ять елементів. Оновлено 14 днів тому. 18 підписників.

Де тут місце SDK

Підготовляють туторіали та Adapter SDK. Мета — дати розробникам і стороннім постачальникам створювати власні адаптери. Вони будуть ітерувати версії та перевіряти функції. Оновлення вийдуть так само, як у звичайному софті. У оголошенні термінів немає. Базова модель не чіпається. Адаптери залишаються замінними. Підхід — відкритий.