Що змінюється, коли шість моделей AI ділять один каркас на 2 мільярди параметрів?

Liquid AI називає LFM3 «точкою старту для спеціалізованого інтелекту». Це означає: завантажуєте один легкий каркас, обираєте потрібну модальність і адаптуєте її до своїх даних, не виходячи за межі одного GPU.

Основа — LFM3-1.7B-Base: 24 шари, 1,7 мільярда параметрів, контекст 256K, 22 трильйони токенів пре-тренування. З неї відгалужуються шість моделей. LFM3-1.7B працює з текстом і викликами інструментів. LFM3-VL-2B додає зображення і відео. LFM3-Audio-2B привносить мовлення на вхід і вихід. LFM3-Omni-2B поєднує зір і аудіо у обох напрямках. Текст теж підтримується. d1-2B і d1-omni-2B замінюють згенеровані відповіді на калібровані ймовірності для задач прийняття рішень.

Усі моделі поміщаються в околі 2B параметрів. Текстова модель квантується до приблизно 1 ГБ при 4-бітній точності. До кожного варіанту додаються ноутбуки для донавчання. Компанія стверджує: будь-яку з них можна спеціалізувати на власній термінології та інструментах. Ціль розгортання визначається за один тренувальний запуск.

Тригібридна зміш шарів і чому це важливо

LFM2 вже поєднувала короткі згортки з увагою. LFM3 перепроектує цю зміш через те, що команда називає архітектурний пошук з залученням «заліза» — перевірено 14 пар пристрій і бекендів. Телефони та Raspberry Pi 5 увійшли до набору. Ноутбуки, хмарні CPU та GPU теж були протестовані, як і Qualcomm Hexagon NPU.

Отриманий стек із 24 шарів містить 13 шарів гейтованих коротких згорток з ядром 7. П'ять шарів пересувного вікна уваги з вікном 256 токенів. Шість шарів глобальної уваги доповнюють картину. Кожна голова уваги отримує сигмоїдний шлюз, що може вимкнути голову, коли її внесок нульовий — автори кажуть, це допомагає придушити викиди активацій, що заважають квантуванню. Глобальні шари обертають лише половину найвищої частоти кожної голови через частковий RoPE. Шари пересувного вікна зберігають повний RoPE. Кожен блок нормалізує і вхід, і вихід — sandwich norm — щоб тримати активації в масштабі.

На контексті 8K токенів LFM3-1.7B працює приблизно на 25 відсотків швидше за параметр, ніж попередник, на периферійних пристроях. Останні 3,5 трильйони токенів пре-тренування використали відібрану зміш. Вона була насичена агентними трасами. Виклики інструментів теж увійшли до набору. Це також розширило вікно контексту з 128K до 256K токенів.

Нові енкодери скорочують обчислення для зору і аудіо

Візуальний енкодер поєднує згортку і увагу в модулі на 164M параметрів. Liquid AI повідомляє: точність дорівнює енкодеру Qwen3.5-2B, але вимагає в 2,2 рази менше FLOPs, якщо вимірювати з однаковим мовним каркасом LFM2.5-230M. Для відео кожна пара вибіркових кадрів вкладається в один тимчасовий зріз. Довжина тимчасової послідовності зменшується удвічі.

Аудіо-енкодер змішує пересувне вікно уваги і короткі згортки у повністю причинно-наслідковому дизайні. Це дозволяє моделі робити префіл, поки користувач говорить, досягаючи time-to-first-token у 50 мс. LiquidCodec, новий аудіо-токенізатор, перетворює згенеровані токени в мовлення за ~87x реального часу на одному CPU-потоку Apple M4 Max і підтримує стрімінгове декодування.

Моделі рішень видають ймовірності, а не токени

d1-2B і d1-omni-2B відповідають на структуровані запитання над єдиним вхідом — текстом, зображеннями, відео або аудіо — за один прямий прохід. Типи запитань: так/ні з каліброваною ймовірністю, одиночний вибір, множинний вибір, оцінена терміновість. Тепер додано вказівку об'єктів та вилучення значень. Числові діапазони і вибір кількох варіантів теж підтримуються. d1-2B замінює попередній d1-3B з третьою частиною параметрів і вищими балами по всім чотирьом внутрішнім наборам. Наприклад, 75,5 проти 64,0 на ImajevBench. d1-omni-2B додає аудіо-вхід і зберігає майже всю точність, коли запитання звучать, а не пишуться.

Донавчання на одному GPU — типовий шлях

Релиз включає Colab-ноутбуки для SFT, DPO, GRPO і продовженого пре-тренування по всій родині. Завдання — від вилучення JSON із брудних документів і транскрипції рівнянь у LaTeX. Перетворення голосових команд «розумного дому» на виклики функцій. Навчання моделі новому голосу. Демонстрація робототехніки спільно тренує оркестратор і навігатор, а також маніпуляційну VLA — від LFM3-VL-2B через 15 платформ. Досягнуто 96,2 відсотка середнього успіху на наборах LIBERO і 45,7 відсотка на RoboCasa-GR1 стільничних задачах. Фрагменти дій генеруються за менше 50 мс на Jetson AGX Orin з TensorRT FP16.

Усі ваги відкриті і розміщені на Hugging Face. Колекція включає LFM3-1.7B-Base для власного пост-тренування. Посібники для запуску локальних агентів на кшталт OpenClaw та Hermes Agent доступні. Pi теж у списку.