Що дає трьохватний NPU Raspberry Pi 5?

Чому три вати важливіші за TOPS

Пікові TOPS добре виглядають у маркетингу. Більшість периферійних пристроїв живуть і помирають залежно від енергетичного та теплового бюджету. Реальна система все одно потребує запасу для самого Raspberry Pi, камери, накопичувача, мережі та керованого пристрою. Прискорювач, що тримається на трьох ватях при постійному навантаженні, дозволяє менші корпуси та простіше охолодження. ШІ може працювати безперервно замість коротких спалахів. Така ефективність робить локальний ШІ практичним там, де це найважливіше: розумні камери, роботи, промислове обладнання, розподілені сенсори. Інакше обмеженням стає затримка хмари або зв'язок. Приватність даних теж стає критичною.

Цифра в три вати стосується типової постійної потужності NPU для варіанту DX-M1M на 25 TOPS. Це не повна потужність системи від мережі. Завжди вимірюйте кінцеву конфігурацію Raspberry Pi з реальною камерою, накопичувачем, навантаженням та охолодженням.

Один NPU для трьох класів моделей

Більшість периферійних продуктів починаються з сприйняття. CNN виявляє об'єкт, сегментує робочу зону, оцінює позу. Також може позначити аномальну подію. Наступне покоління периферійних систем також потребує розуміння контексту та здатності повідомити, що бачить. DX-M1M розроблений для підтримки всього цього шляху на одному кристалі й в одному інструментарії.

CNN-навантаження охоплюють детекцію об'єктів та класифікацію. Сегментацію та оцінку пози вони також вирішують. Обробляють глибину та покращення зображення. Вони перетворюють пікселі камери на структуровані події. DEEPX ModelZoo поставляє попередньо оптимізовані приклади: детектори сімейства YOLO, сегментаційні моделі. Позиційні моделі теж є у наборі. DX-Stream допомагає зібрати їх у камерні конвеєри на базі GStreamer.

Компактні візіонно-мовні моделі додають контекстне розуміння поверх візуальних результатів. Вони описують сцену, відповідають на сфокусоване запитання про зображення. Також інтерпретують подію природною мовою локально, нічого не виходячи за пристрій. Малі мовні моделі можуть інтерпретувати команду користувача, підсумовувати локальні події. Генерують стислі пояснення, створюючи природний інтерфейс для камер, роботів, машин без маршрутизації кожної взаємодії через хмару.

Пам'ять та підхід до точності

Перше запитання розробника про мовні моделі на периферії — скільки пам'яті доступно. Модуль DX-M1M несе 2 ГБ виділеного LPDDR4x на боці. Це комфортно покриває VLM і SLM навантаження поруч із візуальними моделями.

Точність важливіша за піковий бенчмарк. Ефективність периферійного ШІ корисна лише тоді, коли модель залишається точною на зображеннях та умовах вашого реального застосування. DEEPX ставиться до INT8-оптимізації як до процесу, що враховує точність, а не як до простого конвертування. Починайте від відомої FP32-базової точності та чітко визначеної метрики застосування. Калібруйте на репрезентативних даних з реального середовища розгортання, а не лише на чистих зразках. Компілюйте та оптимізуйте модель через DX-COM у переносний артефакт розгортання .dxnn. Порівнюйте точність, латентність, потужність та теплову поведінку на кінцевій системі Raspberry Pi. Це найважливіше у складних умовах, з якими стикаються периферійні камери: слабий світ, блиски, розмиття рухом. Перекриття та незвичайні кути теж входять у список. Достовірний результат показує і прибуток ефективності, і збережену прикладну точність.

Виміряні показники продуктивності

Цифри перемагають прикметники. Наведені нижче дані отримано на Raspberry Pi 5 (8 ГБ) з випущеним релізом ПЗ Sixfab; це порівнює NPU DX-M1M і DX-M1. Mobilenet_v2 при 240×240 видає 2361 FPS на DX-M1M і 3223 FPS на DX-M1. Deeplabv3plus при 512×512 — 155 FPS на DX-M1M і 231 FPS на DX-M1. Qwen3-1.7B з 96 токенами префілу показує час до першого токена 599,04 мс і 4,64 токени в секунду на DX-M1M. Та сама модель на DX-M1 — 544,58 мс і 11,60 токенів в секунду. DX-M1 використовує LPDDR5, а DX-M1M — LPDDR4X. Різниця у продуктивності виникає через пропускну здатність пам'яті.

Від першого завантаження до першого висновку

Найшвидший спосіб зрозуміти платформу — перевірити залізо. Потім запустіть упаковану модель і спостерігайте за роботою NPU. На Raspberry Pi OS виконайте apt update та команди встановлення для репозиторію та пакетів Sixfab. Далі run_hello_world для запуску упакованого прикладу. Потім dxtop для спостереження за NPU в реальному часі. Оберіть оптимізоване навантаження з ModelZoo або пропустіть власну підтримувану ONNX-модель через DX-COM. Отриманий .dxnn-файл працює через C++ або Python API DX-RT. Ваш додаток Raspberry Pi продовжує обробляти камери, бізнес-логіку, інтерфейси. Мережу та керування він теж тримає у себе.

Що можна з цим побудувати

Почніть вдома. Камера на верстаті, що розпізнає невдалий 3D-друк і надсилає знімок з однорядковим описом. Камера у вхідних дверях, що розрізняє кур'єра та сусідського кота. Того, хто бездіяно блукає, вона теж виділяє. Підсумовує події дня кожного вечора повністю локально. Монітор саду або домашнього улюбленця, що сповіщає лише про те, що варте уваги.

Усе це слідує одному циклу. CNN бачить подію. Компактна VLM додає контекст. SLM пояснює її або інтерпретує вашу наступну команду. Ваш додаток Raspberry Pi приймає рішення й діє. Той самий цикл масштабується до серйозних розгортань: безперервний локальний детектування в розумних камерах з меншою залежністю від хмари. Енергоефективний візуальний контроль якості та безпеки поруч із виробничою лінією. Сприйняття та компактна мультимодальна інтелект на роботах, поки Raspberry Pi керує ROS 2 та логікою управління. Приватність-сумісна аналітика зайнятості та поведінки в ритейлі та розумних просторах.

Де це перестає бути правильним інструментом

Як і будь-який периферійний прискорювач, AI HAT+ не намагається конкурувати з хмарним висновком. Застосування, що потребують широких світових знань, дуже довгого контексту розмови або безперервного навчання, завжди краще працюють там, де обчислення та пам'ять фактично необмежені. DX-M1M найкраще проявляє себе при запуску тісно обмеженого безперервного інтелекту поруч з камерою або сенсором. Приватність, латентність, автономна робота та енергобюджет у однозначні вати — це вимоги, що реально вирішують дизайн. Чесність щодо цієї межі — саме те, що робить платформу надійною всередині неї.

25 TOPS Sixfab AI HAT+ для Raspberry Pi 5 вже доступний у Sixfab. 13 TOPS версія очікується до кінця 2026 року. Скільки 25 TOPS одиниць уже у польові — анонс не повідомляє.