Люди використовують продукти Raspberry Pi для створення проектів штучного інтелекту майже стільки ж, скільки ми створюємо їх. Оскільки ми поступово випускаємо потужніші пристрої, ми розширюємо діапазон додатків, які ми можемо природньо підтримувати від початку; але в будь-якому поколінні завжди будуть деякі робочі навантаження, для яких потрібен зовнішній прискорювач, як-от Raspberry Pi AI Kit, який ми запустили в червні.

Raspberry Pi AI Kit — це надзвичайно потужне обладнання, здатне виконувати тринадцять трильйонів операцій за секунду. Але він сумісний лише з Raspberry Pi 5 і вимагає окремого модуля камери для захоплення візуальних даних. Тому ми дуже раді повідомити про нове доповнення до нашої лінійки продуктів камери: Raspberry Pi AI Camera.

This image features a Raspberry Pi AI Camera Module connected to a long, curved orange ribbon cable. The small, square-shaped green circuit board has a black camera lens at its center and yellow mounting holes at each corner. The ribbon cable is flexed into a loop and prominently displays white text that reads "Raspberry Pi Camera Cable Standard – Mini – 200mm." The cable is designed to connect the camera to a Raspberry Pi device, and the image is set against a plain gray background.

Камера AI Camera побудована на основі датчика зображення Sony IMX500 із вбудованим прискорювачем AI. Він може запускати широкий спектр популярних моделей нейронних мереж із низьким енергоспоживанням і низькою затримкою, залишаючи процесор вашого Raspberry Pi вільним для виконання інших завдань.

Головні характеристики Raspberry Pi AI Camera включають в себе:

  • Інтелектуальний датчик бачення Sony IMX500 на 12 МП
  • Сенсорні режими: 4056×3040 на 10fps, 2028×1520 на 30fps
  • Комірка розміром 1.55 µm × 1.55 µm 
  • Можливість огляду 78 градусів із ручним налаштуванням фокусу
  • Інтегрований RP2040 для нейронної мережі та керування прошивкою

Камеру AI можна підключити до всіх моделей Raspberry Pi, включаючи Raspberry Pi Zero, за допомогою наших звичайних стрічкових кабелів для камер.

This image shows a Raspberry Pi setup on a wooden surface, featuring a Raspberry Pi board connected to an AI camera module via an orange ribbon cable. The Raspberry Pi board is attached to several cables: a red one on the left for power and a white HDMI cable on the right. The camera module sits in the lower right corner, with its lens facing up. Part of a white and red keyboard is visible on the right side of the image, and a small plant in a white pot is partially visible on the left. The scene suggests a Raspberry Pi project setup in progress.

Використовуючи набір інструментів штучного інтелекту від Sony, існуючі моделі нейронних мереж, що використовують фреймворки, такі як TensorFlow або PyTorch, можна конвертувати для ефективної роботи на камері штучного інтелекту. Крім того, нові моделі можуть бути розроблені таким чином, щоб використовувати переваги специфічних можливостей прискорювача ШІ.

Заглянемо всередину : 

Щоб скористатися вбудованим прискорювачем AI, ми повинні спочатку завантажити модель. На старих пристроях Raspberry Pi цей процес використовує протокол I2C, тоді як на Raspberry Pi 5 ми можемо використовувати набагато швидший спеціальний двопровідний протокол. Кінець каналу з камерою керується вбудованим мікроконтролером RP2040; під’єднаний флеш-пристрій на 16 МБ зберігає в кеш-пам’яті нещодавно використані моделі, що дозволяє нам у багатьох випадках пропускати крок завантаження.

The image shows a Raspberry Pi AI Camera Module. It's a small, square-shaped green circuit board with four yellow mounting holes at each corner. In the center, there's a black camera lens marked with "MU2351." An orange ribbon cable is attached to the bottom of the board, used for connecting the camera to a Raspberry Pi. The Raspberry Pi logo, a white raspberry outline, is visible on the left side of the board.

Після того, як сенсор розпочав потокову передачу, IMX500 працює як стандартний датчик зображення Bayer, схожий на датчик Raspberry Pi Camera Module 3. Інтегрований процесор сигналу зображення (ISP) виконує основні кроки обробки зображення на рамі датчика (головним чином Bayer-to-RGB : перетворення і обрізання/зміна масштабу) і подає оброблений кадр безпосередньо в прискорювач AI. Після того, як модель нейронної мережі обробила кадр, його вихідні дані передаються на хост Raspberry Pi разом із кадром Bayer через шину камери CSI-2.

This image shows a clean, organized desk setup. At the center, there is a laptop with a screen displaying data analysis or machine learning model results, with performance metrics shown in percentages. The laptop is identified as taking up 73% of the image. On the left side, there's a small potted plant (50%) inside a decorative, geometric-patterned vase (43%). A computer mouse (50%) rests beside the plant. On the right side, a coffee mug (42%) sits alone, adding a simple personal touch to the workspace. The overall vibe is minimalist and focused, with soft lighting and a light-colored background.

Інтеграція з камерою Raspberry Pi 

Ключовою перевагою камери зі штучним інтелектом є бездоганна інтеграція з нашим пакетом програмного забезпечення камери Raspberry Pi. Всередині libcamera обробляє кадр Bayer за допомогою нашого власного провайдера, так само, як і для будь-якого датчика.

Ми також аналізуємо результати нейронної мережі, щоб створити вихідний тензор і синхронізувати його з обробленим кадром Байєра. Обидва вони повертаються до програми під час етапу завершення запиту libcamera.

This image shows a close-up of a Raspberry Pi board with an attached AI camera module. The Raspberry Pi board, a small green circuit board with various electronic components, is partially visible in the upper part of the image. Connected to it is a camera module with a lens, positioned in the lower portion of the image. A flat orange ribbon cable links the camera to the Raspberry Pi, allowing it to transmit data. The background is a plain, muted teal color, making the electronics the clear focus of the image.

Фреймворки камер Raspberry Pi — програми Picamera2 і rpicam, а також будь-яка програма на основі libcamera — можуть отримувати вихідний тензор, правильно синхронізований із кадром датчика. Ось приклад нейромережевої моделі виявлення об’єктів (MobileNet SSD), яка працює в додатках rpicam і виконує висновки щодо відео 1080p зі швидкістю 30 кадрів в секунду.

Ця демонстрація використовує структуру постобробки в програмах rpicam для генерації обмежувальних рамок об’єктів із вихідного тензора та малювання їх на зображенні. Для реалізації цього етапу потрібно не більше 300 рядків коду. Еквівалентна програма, створена за допомогою Python і Picamera2, потребує набагато менше рядків коду.

Інший приклад нижче показує модель нейронної мережі, що оцінює пози (PoseNet), і яка виконує висновки щодо відео 1080p зі швидкістю 30 кадрів в секунду.

Незважаючи на те, що ці приклади були записані за допомогою Raspberry Pi 4, вони працюють з такою ж продуктивністю логічного висновку на Raspberry Pi Zero!

Разом із Sony ми випустили низку популярних моделей візуальних нейронних мереж, оптимізованих для камери штучного інтелекту в нашому "модельному зоопарку", а також приклади сценаріїв візуалізації за допомогою Picamera2.

І який же пристрій мені купити?

Вам варто купити набір Raspberry Pi AI Kit або камеру Raspberry Pi AI? Набір штучного інтелекту має вищу теоретичну продуктивність, ніж камера штучного інтелекту, і може підтримувати більший діапазон моделей, але сумісний лише з Raspberry Pi 5. Камера штучного інтелекту компактніша, має нижчу загальну вартість в тому випадку, якщо у вас ще немає камери камери, а також вона сумісна з усіма моделями Raspberry Pi.

Зрештою, обидва продукти забезпечують чудову продуктивність прискорення для звичайних моделей, і обидва були оптимізовані для безперебійної роботи з нашим стеком програмного забезпечення камери.

Починаємо і просуваємось далі

Перегляньте наш посібник з початку роботи. Там ви знайдете інструкції щодо встановлення апаратного забезпечення AI Camera, налаштування програмного середовища та запуску прикладів і нейронних мереж у нашому модельному зоопарку.

This image shows a Raspberry Pi AI Camera Module connected to a long, flat, orange ribbon cable. The camera module is small, square-shaped, and green with a black lens in the center. There are yellow mounting holes at each corner of the module. The orange ribbon cable attached to the module has white regulatory symbols and logos printed on it, such as "UKCA," "CE," "FCC," and the Raspberry Pi logo. The cable appears to be flexible and designed for connecting the camera to a Raspberry Pi. The camera is resting on a light gray background.

На веб-сайті розробників AITRIOS від Sony є більше технічних ресурсів щодо датчика IMX500, зокрема конвертер IMX500 та документація пакета IMX500, яка буде корисною для користувачів, які хочуть запускати спеціально навчені мережі на камері зі штучним інтелектом.

Нас надихнули неймовірні проекти штучного інтелекту, які ви створювали протягом багатьох років із Raspberry Pi, і ваша наполеглива праця та винахідливість заохочують нас інвестувати в інструменти, які допоможуть вам піти далі. Поява спочатку AI Kit, а тепер AI Camera відкриває цілий новий світ можливостей для високоякісного візуального AI з високою роздільною здатністю, високою частотою кадрів: ми не знаємо, що ви збираєтеся створити з ними, але ми впевнені, що це буде чудово.