Як EdgeCraft перетворює намір на готові до розгортання ML-моделі для периферії?

EdgeCraft — система, що створює моделі машинного навчання для периферійних пристроїв. Вона приймає високорівневу мету і видає артефакт, готовий до розгортання.

Проблема, яку вирішує EdgeCraft

Створення готового до розгортання периферійного ML-артефакту для конкретного сценарію вимагає пошуку в обширному просторі варіантів. Простір охоплює представлення даних та архітектуру моделі. До нього також входять навчання на доменних даних і налаштування рантайму. Процес роздроблений і важко масштабується для різноманітних периферійних застосувань. EdgeCraft вирішує це, перетворюючи високорівневий намір на готові артефакти за допомогою LLM-підходу.

Два виклики — два архітектурні рішення

Побудова такої системи ставить два виклики. Перший — як навести LLM на пошук якісних рішень, що задовольняють динамічні SLO за якістю та затримкою? Енергоспоживання теж враховується. Другий — як отримати надійну верифікацію на цільовому пристрої за низькою вартістю? EdgeCraft відповідає двома рішеннями. Дерево синтезу з урахуванням обмежень досліджує альтернативні кандидати та використовує вимірені розриви SLO для напряму покращень. Багаторівневий верифікатор поступово поєднує дешеві перевірки з повною верифікацією на пристрої. Це скорочує витрати і зберігає достовірність.

Верифікація, що вчиться на помилках

Верифікатор фіксує підтверджені помилки для повторного використання. Це усуває дублювання роботи на пристрої. Поступове поєднання дешевих перевірок із повною верифікацією на цілі знижує витрати і зберігає достовірність. Стаття не вказує, скільки записів про помилки зберігається і як довго.

Паралельність за допомогою мультитенантного рантайму

Для підтримки одночасної роботи EdgeCraft надає мультитенантний рантайм. Він виконує хмарне навчання та верифікацію на пристрої одночасно, ізолюючи запити. Документ не розкриває механізм ізоляції чи максимальну кількість тенантів.

Експериментальні результати

На 50 публічних задачах EdgeCraft перевищує задачу-специфічний Reference за найкращою спостережуваною якістю на 40 з них. Система знаходить SLO-сумісний артефакт на 45 задачах. Обидва результати перетинаються на 38. Крім того, EdgeCraft демонструє конкурентну продуктивність на власному наборі SEN. Це вказує на здатність узагальнюватися на реальні IoT-завдання центрингу. Стаття не наводить дані затримки чи енергії для SEN.

Що залишилося за кадром статті

Стаття займає 20 сторінок і 15 фігур. До того ж — 5 таблиць. Автори не публікують код чи ваги моделей. Не описують використану LLM-основу. Не кількісно оцінюють скорочення витрат на верифікацію в абсолютних одиницях. Не порівнюють з іншими автоматизованими ML-системами за назвами. Код закритий.