Чому нова модель Liquid AI на 24B працює лише з 2B активними параметрами?

Архітектура, що тримає обчислення низькими

Модель складається з 40 шарів, розділених між двома типами уваги. Тридцять шарів базуються на гейтованих коротких згортках. Десять шарів використовують grouped-query attention.

Кожен блок mixture-of-experts містить 64 експерти. Активні стають лише чотири. Таке top-4 маршрутизація утримує активні параметри на рівні 2B, тоді як загальна кількість досягає 24B.

Словник охоплює 128K токенів. Підтримуються англійська, арабська, китайська, французька, німецька, італійська. Японська, корейська, португальська, іспанська, в'єтнамська, тайська. Індонезійська, хінді, російська, польська — теж у списку.

Резонінг, що демонструє роботу

Пост-тренування всередині агентних середовищ зробило виклик інструментів надійним. Попередник LFM2-24B-A2B не гарантував мислення перед відповіддю. Нова версія завжди «думає» спочатку. Шаблон чату починає кожну репліку асистента тегом <reasoning>. У відповіді з'являється явний ланкувок думок перед фінальним текстом. Залиште місце в бюджеті токенів для сліду рассудку.

Дефолти генерації: temperature 0.1, top_k 50, repetition_penalty 1.05.

Локальний запуск сьогодні

Transformers вимагає версію 5.0.0 або новішу. HF repo ID — LiquidAI/LFM2.5-24B-A2B. Завантажуйте у bfloat16 з device_map="auto". Flash Attention 2 працює на сумісних GPU.

Для MLX потрібен mlx-lm 0.32.0+. Старіші версії маршрутизують експертів помилково. Квантовані збірки існують як MLX-4bit, MLX-5bit, MLX-6bit, MLX-8bit. Шляхи GGUF, ONNX, vLLM, SGLang теж задокументовані.

Чого немає в документації

Бенчмарки проти інших моделей на сторінці відсутні. Вимірювання споживання енергії при on-device інференсі не надано. Умови ліцензії посилаються на окремий гайд, а не прописані рядком. Кількість пристроїв, що вже запускають цю модель у продакшні, не розкрито.