Представляємо Raspberry Pi AI HAT+ 2: генеративний штучний інтелект на Raspberry Pi 5

• 15 січня 2026 
• Науш Патук 

Трохи більше року тому ми представили Raspberry Pi AI HAT+ - додаткову плату для Raspberry Pi 5 з нейромережевими прискорювачами Hailo-8 (варіант 26-TOPS) і Hailo-8L (варіант 13-TOPS). Оскільки всі процеси роботи штучного інтелекту відбуваються безпосередньо на пристрої, AI HAT+ надає нашим користувачам справжні можливості використовувати штучний інтелект на периферії, забезпечуючи конфіденційність і безпеку даних та усуваючи необхідність передплачувати дорогі хмарні сервіси штучного інтелекту.

Хоча AI HAT+ забезпечує найкраще в своєму класі прискорення для моделей нейронних мереж на основі зору, включаючи виявлення об'єктів, оцінку пози та сегментацію сцен (подивитись, як це працює, ви можете тут), йому бракує можливості запускати все більш популярні генеративні моделі штучного інтелекту (GenAI). Сьогодні ми раді оголосити про випуск Raspberry Pi AI HAT+ 2, нашого першого продукту штучного інтелекту, призначеного для заповнення прогалини в області генеративного штучного інтелекту.

Розблокуйте можливість генеративного штучного інтелекту на вашому Raspberry Pi 5

Оснащений новим нейронним мережевим прискорювачем Hailo-10H, Raspberry Pi AI HAT+ 2 забезпечує продуктивність виведення висновків на рівні 40 TOPS (INT4), гарантуючи безперебійну роботу генеративних ШІ-завдань на Raspberry Pi 5. Виконуючи всю ШІ-обробку локально і без підключення до мережі, AI HAT+ 2 працює надійно і з низькою затримкою, зберігаючи конфіденційність, безпеку та економічну ефективність обчислень штучного інтелекту без хмари, які ми представили в оригінальному AI HAT+.

На відміну від свого попередника, AI HAT+ 2 має 8 ГБ вбудованої оперативної пам'яті, що дозволяє прискорювачу ефективно обробляти набагато більші моделі, ніж це було можливо раніше. Це, разом з оновленою архітектурою апаратного забезпечення, дозволяє чіпу Hailo-10H прискорювати великі мовні моделі (LLM), моделі зорового мовлення (VLM) та інші генеративні програми штучного інтелекту.

Для моделей на основі зору, таких як розпізнавання об'єктів на основі Yolo, оцінка пози та сегментація сцен, продуктивність комп'ютерного зору AI HAT+ 2 в цілому еквівалентна продуктивності його попередника 26-TOPS завдяки вбудованій оперативній пам'яті. Він також має ті ж переваги тісної інтеграції з нашим програмним стеком для камер (libcamera, rpicam-apps та Picamera2), що й оригінальний AI HAT+. Для користувачів, які вже працюють із програмним забезпеченням AI HAT+, перехід на AI HAT+ 2 є практично безпроблемним і максимально прозорим.

Деякі приклади застосування

На момент запуску будуть доступні для встановлення наступні LLM:

Більше моделей (і більші моделі) готуються до оновлення і повинні бути доступні для встановлення незабаром після запуску.

Давайте швидко розглянемо деякі з цих моделей у дії. У наведених нижче прикладах використовується бекенд hailo-ollama LLM (доступний у зоні розробників Hailo) та Open WebUIfrontend, що забезпечує звичний інтерфейс чату через браузер. Усі ці приклади працюють повністю локально на Raspberry Pi AI HAT+ 2, підключеному до Raspberry Pi 5.

У першому прикладі використовується модель Qwen2 для відповіді на кілька простих запитань:

У наступному прикладі використовується модель Qwen2.5-Coder для виконання завдання кодування:

Цей приклад демонструє простий переклад з французької на англійську за допомогою Qwen2:

Останній приклад показує VLM, що описує сцену з потоку камери:

Налаштуйте свої моделі штучного інтелекту

На сьогодні найпопулярнішими прикладами генеративних моделей штучного інтелекту є LLM, такі як ChatGPT і Claude, моделі перетворення тексту в зображення/відео, такі як Stable Diffusion і DALL-E, а також, з недавнього часу, VLM, що поєднують можливості моделей зору та LLM. Хоча наведені вище приклади демонструють можливості доступних моделей штучного інтелекту, слід пам'ятати про їхні обмеження: хмарні LLM від OpenAI, Meta та Anthropic мають від 500 мільярдів до 2 трильйонів параметрів; периферійні LLM, що працюють на Raspberry Pi AI HAT+ 2, розмір яких відповідає розміру доступної вбудованої оперативної пам'яті, зазвичай працюють з 1–7 мільярдами параметрів. Менші LLM, такі як ці, не призначені для відповідності набору знань, доступному для більших моделей, а скоріше для роботи в межах обмеженого набору даних.

Це обмеження можна подолати, точно налаштувавши моделі штучного інтелекту для конкретного випадку використання. На оригінальному Raspberry Pi AI HAT+ візуальні моделі (такі як Yolo) можна перенавчити за допомогою наборів даних зображень, що відповідають передбачуваному застосуванню HAT — це також стосується Raspberry Pi AI HAT+ 2 і може бути зроблено за допомогою Hailo Dataflow Compiler.

Аналогічно, AI HAT+ 2 підтримує точне налаштування мовних моделей на основі Low-Rank Adaptation (LoRA), що дозволяє ефективно налаштовувати попередньо навчені LLM під конкретні завдання, зберігаючи при цьому більшість параметрів базової моделі незмінними. Користувачі можуть компілювати адаптери для своїх конкретних завдань за допомогою Hailo Dataflow Compiler і запускати адаптовані моделі на Raspberry Pi AI HAT+ 2.

Доступно для покупки вже зараз!

Raspberry Pi AI HAT+ 2 вже доступний за ціною 130 доларів. Щоб отримати допомогу з налаштуванням, ознайомтеся з нашим посібником АІ HAT.

Репозиторій GitHub компанії Hailo містить безліч прикладів, демонстрацій та фреймворків для додатків на основі штучного інтелекту та GenAI, таких як VLM, голосові помічники та розпізнавання мови. У зоні розробників Hailo ви також можете знайти документацію, навчальні матеріали та завантаження для компілятора Dataflow та сервера hailo-ollama.