Чому 24-мільярдна модель працює як 2-мільярдна на вашому ноутбуці?

Архітектура, що тримає більшість ваг у сні

LFM2.5-24B-A2B зберігає скелет попередника LFM2-24B-A2B. Сорок шарів. Шістдесят чотири експерти в кожному блоці змішаних експертів. Маршрутизатор top-4 будить лише чотири експерти на токен. Гібридний хребет поєднує гейтовані короткі згортки з групованою увагою до запитів. Змінилися два числа. Контекстне вікно виросло з 32K до 131K токенів. Розширення токенізатора на місці подвоїло словник із 65K до 128K токенів. Це покращило підтримку нелатинських мов.

Попереднє навчання спожило приблизно 33 трильйони токенів. Майже удвічі більше за 17 трильйонів базової моделі. Проміжне навчання додало 2 трильйони токенів при контексті 32K. Зміш зважено в бік рассудження, математики, коду, виконання інструкцій і багатомовного тексту. Потім — 300 мільярдів токенів при повному контексті 131K. Ця фаза націлена на довгоконтекстові дані. Виклики інструментів і багатокругові траєкторії присутні в обох фазах.

П'ять етапів пост-навчання перетворюють базу на агента

Починається з керованого донавчання. Слідує спеціалізація вчителя. Два раунди багатодоменної on-policy дистиляції йдуть далі. Один — для неагентних завдань. Другий — зосереджений на агентній роботі. Фінальний етап запускає агентне підсилення всередині реальних гарнесів. OpenClaw і Hermes Agent. Pi і OpenCode. Модель вчиться формувати явний ланку рассудження перед остаточною відповіддю. Також вчиться викликати інструменти й утримувати багатокругові траєкторії.

Бенчмарки, де мала модель виграє, і де поступається

Шістнадцять бенчмарків охоплюють використання інструментів, агентні робочі процеси, знання, виконання інструкцій, математику та кодування. Конкуренти: Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it, Nemotron-3.5-Lightning. LFM2.5-24B-A2B — найменша в групі.

Вона лідирує або виходить внічию на п'яти з восьми агентних тестів. AutomationBench: 27,69 проти 8,72 у найкращого з решти. Більше у три рази. BFCLv4: 65,01 проти 65,00. Практично рівно. ToolSandbox: 80,71 проти 75,02. LiveClaw: 48,09 проти 38,19. τ³-Bench Banking: 8,04 проти 7,63. Вона також перемагає на всіх трьох тестах виконання інструкцій. IFEval 96,75. IFBench 74,69. Multi-IF 84,38.

Більші моделі зберігають перевагу на тестах із важкими знаннями. GPQA Diamond: 74,42 проти 83,69. HLE: 7,40 проти 7,69. AA-Omniscience: -24,90 проти -24,35. У кодуванні SWE-Bench Verified досягає 51,00 проти 66,20. SciCode: 32,71 проти 37,35. Оголошення пропонує поєднувати модель з пошуком або веб-пошуком для завдань, навантажених знаннями.

Швидкість на «залізі», яке вже є у вас

Підтримка з першого дня охоплює llama.cpp, MLX, vLLM, SGLang, ONNX. На Apple M5 Max модель декодує 184 токени в секунду. На Ryzen AI Max+ 395 — 114 токенів в секунду. Це аж до 1,7 рази швидше за найкращу конкурентну MoE-модель при найменшому споживанні пам'яті. На одному NVIDIA B300 GPU вона прориває 21 тис. вихідних токенів в секунду при високій одночасності.

Запуск локально займає три команди

Встановіть останній transformers. Сумісний з transformers>=5.0.0. Завантажте модель з device_map="auto" та dtype="bfloat16". Генеруйте через чат-шаблон, temperature 0.1, top_k 50, repetition_penalty 1.05. Для підключення до агентного гарнесу підніміть її за будь-яким OpenAI-сумісним бекендом. Приклад Hermes Agent: provider — custom, base URL — локальний ендпоінт, default model — LFM2.5-24B-A2B, context length — 131072, API mode — chat completions, tool use enforcement — true. Порти залежать від бекенду. llama.cpp і MLX використовують 8080. vLLM — 8000. SGLang — 30000. LM Studio — 1234.

І інструктувана, і базова ваги відкриті і вже на Hugging Face. Навчальні посібники з донавчання посилані з картки моделі.