Що робить додаток на 300 мільйонів параметрів з моделлю на 2,6 мільярда на ноутбуці?

Чернеткова модель у десять разів менша за основну

Кожен чекпоінт DSpark важить близько трьохсот мільйонів параметрів. Три цілі — LFM2.5-1.2B-Instruct, LFM2.5-2.6B та LFM2.5-8B-A1B — лежать в діапазоні від 1,2 до 8 мільярдів. Чернетка додає паралельний стовбур, що виробляє приховані стани для дев'яти кандидатів за один прохід. Легка марківська голова потім зшиває ці токени. Голова впевненості передбачає, які суфікси варті перевірки. Уся стіка поміщається в 295,7 мільйона параметрів для пари 1,2B і 327,7 мільйона для інших двох.

Навчання тривало п'ятнадцять епох на зміші даних: supervised, чат, код, виклик функцій. Команда залишила епоку з найвищим коефіцієнтом прийняття, а не з найменшими втратами. Коефіцієнт прийняття — це скільки з дев'яти чернеткових токенів виживає перевірку. На MATH500 чернетка 2,6B приймає в середньому 5,42 токени. На MT-Bench — 5,07. Чернетка 1,2B показує більший розкид: 6,02 на MATH500, але лише 3,90 на MT-Bench. Чернетка 8B-A1B приймає найбільше — 8,27 на MATH500 і 8,52 на MT-Bench — однак її прискорення на пристрої ледь досягає 18 відсотків.

Прискорення ховається в стіні пам'яті

Декодування обмежене пам'яттю. Ваги течуть з DRAM у SRAM; обчислення чекають. Спекулятивне декодування розподіляє завантаження ваг на кілька токенів. Цільова модель перевіряє весь пакет за один прохід. Якщо токен відповідає цільовому розподілу — він залишається. Якщо не відповідає — цільовий токен його замінює. Остаточна послідовність ідентична жадібному декодуванню за конструкцією. Точність бенчмарків не змінюється.

На H100 80 GB у BF16 пара 2,6B прискорюється від 323 до 864 токенів за секунду в середньому — приріст 2,67×. На M4 Max MacBook Pro у FP16 GGUF та сама пара рухається від 61 до 139 токенів за секунду — приріст 2,27×. Пара 1,2B стрибає від 656 до 1384 на H100 і від 138 до 350 на MacBook. Пара 8B-A1B досягає 1074 токенів за секунду на H100, але лише 106 на MacBook. Розрив виникає через поточну реалізацію MoE у llama.cpp Metal: перевірка дев'яти токенів активує більше експертів і створює більший трафік ваг, ніж один крок декодування.

Латентність виклику функцій падає більш ніж удвічі

У багатоінструментальних сценарях модель 2,6B скорочує латентність на 57 відсотків у середньому. Модель 1,2B показує високу дисперсію — прискорення коливається аж на 52 відсотки залежно від базового текстового розподілу. Для моделі 8B-A1B дані по виклику функцій не наводяться.

Підтримка з першого дня є в llama.cpp та SGLang. Команда llama.cpp завантажує цільовий GGUF і чернетковий GGUF з прапорцем типу чернетки та максимальною довжиною чернетки у десять. Розмір блоку в дев'ять береться з метаданих сайдкара. SGLang вимагає збірку з підтримкою DSpark для цілей LFM2. Команда запуску підключає шлях до чернеткової моделі і ставить спекулятивний алгоритм у DSPARK. Обидва стеки повідомляють чернеткові токени та прийняті токени для кожної відповіді.

Де знаходяться моделі

Safetensors і GGUF чекпоінти лежать на Hugging Face в організації LiquidAI. Усього шість репозиторіїв: три Safetensors і три GGUF. Чернеткові моделі відкриті вгорі по течії в обох двигунах виведення. Квантування-усвідомлене дистилювання для цих чернеток не згадується. Блог посилається на статтю DSpark з липня 2026 року та раніші роботи EAGLE-3 і DFlash.