Що таке нові моделі d1 від Liquid AI і чому вони відповідають за один прохід

Liquid AI випустила дві моделі прийняття рішень з відкритими вагами, які видають структуровані відповіді без генерації токенів. Старша d1-3B перевершує кожного конкурента 4B і 9B за Decision Index, працюючи за 16 мілісекунд на Jetson AGX Thor.

Моделі рішень не генерують текст

Модель прийняття рішень приймає запит і повертає відповідь за один прямий прохід. Немає покрокової генерації токенів, стрімінгу чи ланцюжка рассуджень. Результат — структурований об'єкт: так чи ні, вибір зі списку. Також може бути числова оцінка — усе утворюється одразу. Відповідь надходить миттєво. Liquid AI побудувала d1-3B і d1-omni-600M на базі своїх Liquid Foundation Models, але змінила ціль навчання: мережа вчиться класифікувати, а не продовжувати послідовність.

Дві архітектури, дві набори модальностей

d1-3B походить від LFM2.5-VL-3B — декодера лише з підтримкою тексту та зображень. d1-omni-600M базується на LFM2.5-Encoder-350M, двонаправленому енкодері, і доповнюється окремими візуальним і аудіо енкодерами. Вона приймає текст із зображенням або текст із аудіо, але не всі три модальності одночасно. Меншу модель позначено як ранній дослідницький реліз; її розробка триває.

Бенчмарки по семи публічних наборах даних

Команда оцінила обидві моделі на SQuAD 2.0, Civil Comments, MASSIVE intent, PubMedQA, BoolQ, XNLI та PAWS-X. d1-3B досягає середнього баллу 82,9 — найвищого в опублікованій таблиці, обігрючи Decider 4B з 81,1. d1-omni-600M набирає 78,4, перевершуючи Decider 2B (77,1) при приблизно чверті параметрів. За Decision Index 0.2.1 d1-3B отримує 48,57, випереджаючи кожну 4B і 9B модель, а також Decider 35B-A3B з 47,11. Візуальні та аудіо бенчмарки не публікувалися: Decision Index v0.3 містить лише приватний візуальний розділ, а аудіо-завдання для прийняття рішень залишаються відкритою проблемою.

Швидкість на периферійному залізі

NVIDIA співпрацювала при замірах на чотирьох пристроях. d1-3B відповідає на одне запитання за 16 мс на Jetson AGX Thor, 26 мс на Jetson AGX Orin 64 GB і 50 мс на Jetson Orin Nano. Три запитання вимагають лише 1,3× часу одного; на AGX Thor затримка зростає з 16 мс до 20 мс. На GPU та сама модель працює за 8 мс на RTX 4090 і 9 мс на AMD MI325X. Зображення 384 пікселі додає 17 мс на 4090 і 18 мс на MI325X. Швидкість d1-omni-600M не публікувалася.

Локальний запуск моделей

Встановіть transformers 5.14 або новіше, torch, torchvision і pillow. Завантажте модель з trust_remote_code=True, оскільки репозиторій поставляє власний код архітектури. Метод system_one приймає стан — текст чи зображення. Також підтримує обидві модальності разом. Словник іменованих запитань передається другим аргументом. Кожне запитання визначає тип (noul, choice або score), інструкції та критерії. Пакетний варіант system_one_batch обробляє кілька станів з однаковим набором запитань за один виклик. Картка моделі d1-omni-600M містить окремі інструкції.

Чого реліз не охоплює

У статті немає складу навчальних даних, ліцензійних деталей ваг чи споживання енергії модулями Jetson. Також відсутнє порівняння затримки на Apple silicon окрім однієї колонки M5 Pro у таблиці швидкості. Якість аудіо-рішень d1-omni-600M ще не має публічного бенчмарку.