Що трапляється, коли квантуєте парето-фронт, знайдений NAS, до INT4?
Новий тристадійний конвеєр відображає нейромережеві архітектури від пошуку до переконфігурованого апаратного забезпечення, не вбудовуючи квантування у цикл пошуку. Дослідження показує, що FP32 zero-shot сурогат охоплює простір парето INT4 краще, ніж сурогат, натренований на квантованих даних.
Пошук нейромережевих архітектур для периферійних пристроїв вбудовує квантування безпосередньо у пошук. Це роздуває простір пошуку. Архітектурні рішення прив'язуються до конкретної бітової ширини. Статтю прийнято на 39-ту конференцію IEEE System-on-Chip у Гейдельберзі. ї підхід — навпаки: спочатку пошук у повній точності, потім квантування, потім відображення на апаратне забезпечення. Конвеєр має три етапи. Перший — агностичний до апаратного забезпечення сурогат парето-рангу на NAS-Bench-201. Другий — квантувальний міст із парето-спрямованою фільтрацією та зворотним зв'язком. Третій — еволюційний бекенд дослідження предметної області для CGRA4ML.
Джерела, за якими написано статтю
- "arXiv:2608.13293v1
https://arxiv.org/abs/2608.13293v1"