Чому трюки для прискорення LLM не працюють на Apple Silicon?

Нове дослідження перевірило чотири популярні методи оптимізації на Mac і виявило: більшість з них сповільнює роботу, а не прискорює. Причина не в чіпах, а в розбіжності між тим, як створювали ці трюки, і тим, як насправді працює апаратне забезпечення Apple.

Розбіжність між проєктуванням і реальністю

Apple Silicon сьогодні забезпечує значну частку локального виведення мовних моделей. Майже кожна оптимізація, опублікована за останні роки, створювалася для серверних GPU NVIDIA. Вимірювалася вона на пакетних навантаженнях. Стаття, подана в arXiv 22 жовтня 2026 року, ставить просте питання: які з цих трюків виживуть при переході на Mac? Автори запустили ті самі чотири родини оптимізацій на чотирьох пристроях Apple під навантаженням декодування з одним запитом, додавши RTX 4090 для прямого порівняння. Режим навантаження має значення не менше, ніж кремній, бо шаблон виконання змінює вузьке місце.

KV-кеш: очищення працює

Очищення KV-кешу видаляє менш важливі ключово-значення записи під час генерації. На апаратному забезпеченні Apple це дає до 1,75 рази кращу повну пропускну здатність. Та сама техніка може зменшити пропускну здатність на дискретному GPU NVIDIA. Різниця виникає через тиск на пропускну здатність пам'яті: уніфікована пам'ять Apple виграє більше від меншого розміру кешу, ніж окрема VRAM дискретного GPU. Інша родина не показує стабільного позитивного результату по всьому лінійці Apple.

Спекулятивне декодування повсюдно провалюється

Спекулятивне декодування використовує малу чернеткову модель для пропозиції токенів, які перевіряє більша модель. Статті повідомляють про прискорення в 2–6 разів на серверних GPU. На кожному тестовому пристрої Apple всі оцінені спекулятивні методи зменшують пропускну здатність. Режим одного запиту не залишає пакетного виміру для приховання накладних витрат чернеткової моделі. Вартість перевірки перевищує економію від прийнятих токенів. Документ не каже, чи змінив би знак інша чернеткова модель або поріг прийняття. Альтернативні стратегії планування не досліджувалися.

Перенесені ядра працюють частково

Проєкти CUDA-ядер переносяться лише частково. Публічний Metal не має асинхронного копіювання. Декодування з одним запитом робить декілька механізмів, орієнтованих на обслуговування, непридатними. Переносимі компоненти все ще дають до 1,20 рази пропускну здатність декодування. Виграш від квантування змінюється залежно від машини.

Що робить прискорення переносими

Повідомлене прискорення не є переносимою властивістю лише техніки. Це спільна функція техніки та середовища виконання. Також на результат впливають апаратний контракт та режим навантаження. Статтю прийнято на NeurIPS 2026 Workshop on On-Device Intelligence та NeurIPS 2026 Workshop on SLMs for Agentic Systems.