Що змінює ML Drift для on-device AI-інференсу на вашому телефоні?

Чому старий delegate вдарився в стіну

TensorFlow Lite GPU delegate дав розробникам перший смак on-device прискорення. Він створювався для вузького набору задач: переважно класичні моделі комп'ютерного зору з передбачуваними формами тензорів. Сьогодні ландшафт інший. Додатки поставляють відеоефекти в реальному часі, аудіо-обробку, оцінку глибини та генеративні моделі з мільярдами параметрів. Ці архітектури приштовхують споживче кремнієве залізо в вузькі місця за обчисленнями та пам'яттю, яких старий рантайм ніколи не розраховував вирішувати. Розробники також стикаються з фрагментованою матрицею заліза: OpenGL ES на Android, Metal на iOS. До того ж у браузерах — WebGPU, а на пристроях — змішані версії драйверів. Delegate вимагав окремих, залежних від бекенду кодових баз шейдерів для кожного API. Їх підтримка перетворилася на гальмо для продуктивності та покриття моделей.

Віртуалізація тензорів і проблема шейдерів

ML Drift вводить віртуалізацію тензорів. У старому delegate логічна форма тензора жорстко прив'язувалася до фізичних GPU-об'єктів — текстур на OpenGL, буферів на Metal — і відображення треба було переписувати для кожного бекенду. Новий рушій розділяє логічне представлення від фізичного виділення. Динамічні шаблони шейдерів вирішують координати під час ініціалізації компілятора. Одна уніфікована модель шейдерів тепер охоплює OpenGL ES, OpenCL, Metal і WebGPU. Накладні витрати рантайму на цю опосередкованість описуються як мінімальні. Для розробників це означає: модель, що працює на Adreno GPU сьогодні, запуститься на Apple Silicon GPU завтра без переписування шейдерів.

Фреймворк спеціалізованих операторів також модернізовано. Прямі API реєстрації надають низькорівневий доступ до мови шейдерів. Посібник SKILL.md для агентів дозволяє кодовим агентам створювати та реєструвати продуктивні спеціалізовані шейдери за хвилини. Перевірка їхньої продуктивності теж відбувається автоматизовано. Власницькі блоки моделей інтегруються прямо в граф виконання. Старий delegate був жорстко прив'язаний до чотиривимірних тензорів. Обхідні шляхи для п'ятивимірних даних — поширених у 3D-конволюційних мережах, просторово-часових моделях на кшталт YOLO 11n, MobileViT v2 — більше не потрібні. Swin Transformer v2 теж отримує підтримку «з коробки». Підтримка п'яти вимірів виходить «з коробки».

Класичні моделі отримують безкоштовний прискор

Міграція розроблена простою. Існуючі робочі навантаження, що працювали на TFLite GPU delegate, зберігають попередні бенчмарки. Часто вони навіть перевищують їх. Рушій відокремлює рантайм від залізно-залежних обмежень і підвищує ефективність виконання ядер. Змін у моделі не потрібні, щоб побачити приріст. Для класичних конвеєрів комп'ютерного зору та аудіо це drop-in-заміна, що миттєво розблоковує сучасні прирости продуктивності на Android, iOS, Web і десктопі.

Stage-aware оптимізація для великих мовних моделей

Авторегресивні LLM мають дві відмінні фази. Prefill-стадія обмежена обчисленнями; decode-стадія — пам'яттю, генерує токени поодинці. ML Drift перемикає ядра та конфігурації розкладки залежно від активної фази. Під час декодування він використовує користувацьку конволюційно-вирівняну розкладку KV-кешу і застосовує агресивну in-kernel квантизацію активацій, щоб уникнути зайвого руху даних у пам'яті. Бенчмарки цитують: prefill 512, decode 128, довжина контексту 640, 4-бітні ваги з розміром блоку 32, fp16 KV cache, argmax sampling, sync every token. Gemma 4 E2B показує кращі результати на фреймворках, що підтримують cross KV sharing. Документ не каже, скільки токенів у секунду це дає на конкретному телефоні.

Десктопні прев'ю через WebGPU і Dawn

WebGPU-бекенд спочатку проектували для браузерного прискорення. Dawn, реалізація WebGPU від Chromium, дозволила скомпілювати ту саму кодову базу нативно поза браузером. Ця уніфікована API-модель дозволяє ML Drift працювати на Windows і Linux, використовуючи сучасну абстракцію заліза WebGPU, щоб обійти фрагментацію DirectX і Vulkan, доповнюючи нативний Metal-бекенд на mac