Чи зможуть спайкові нейромережі нарешті дорівняти щільним мережам у плануванні автономного водіння?

Енергетична прогалина, що утримувала спайки поза плануванням

Повністю автономне водіння вимагає планувальників траєкторій, які одночасно точні та дешеві для розгортання на периферії. Сучасні ANN-планувальники досягають точності важкими щільними обчисленнями. Спайкові мережі обіцяють енергозбереження в декілька порядків, але відстають за точністю.

Як SDPAD перетворює натреновану мережу на цілочисельні спайки

SDPAD перетворює попередньо натренований стек перцепції ANN у форму цілочисельних спайків квантованою конвертацією ANN2SNN. Конвеєр піднімає багаторакурсові зображення у простір «з погляду птаха» за допомогою спайкової максимальної розподілу глибини Spike-3D-Lift. Спайковий запитовий трансформер Spike-QFormer далі планує траєкторію. Его-запити та запити агентів, виділені зі сцени BEV, об'єднуються навчальними запитами проміжних точок через перехресну увагу. До злиття на другому кроці приєднуються запити карти. Наслідує уточнення адаптивною спайковою перехресною увагою. Кожна операція контролюється цілочисельними спайками. Інференс — це єдиний прямий прохід без тимчасових симуляційних циклів. Рекурентні часові кроки не потрібні.

Бенчмарки

На бенчмарку nuScenes SDPAD дає L2-помилку 0,40 м і частку зіткнень 0,12 % при 69,9 мДж — менше 2 % від базових ANN. На NAVSIM navtest — 86,3 PDMS, перевершуючи SAD на 4,3 пункти.

Що залишається невідомим

Стаття не повідомляє результатів на реальному автомобільному залізі. Не описано, як конвертація у цілочисельні спайки впливає на затримку при термальному тротлінгу. Чи масштабується підхід до більшої кількості сенсорів чи довших горизонтів планування — відкрите питання. Крок квантованої конвертації ANN2SNN може вносити помилку квантування, яку бенчмарки не повністю охарактеризували. Реальне розгортання вимагає валідації за межами симуляції.