Описание
SenseCAP Watcher
Himax WiseEye2 HX6538 AI с Arm Cortex-M55 и Ethos-U55.
Оснащенный камерой, микрофоном, динамиком, SenseCAP Watcher может видеть, слышать, говорить.
Кроме того, с пакетом SenseCraft с поддержкой LLM, SenseCAP Watcher понимает ваши команды, воспринимает свое окружение и запускает соответствующие действия.
Просто произнесите команду
Просто поговорите с Watcher, сообщите ему, что именно вы хотите отслеживать, и он уведомит вас, когда указанное событие произойдёт.
Вы можете легко отправлять команды с помощью функции Push to Talk или из приложения SenseCraft.
Понимание того, что он видит
Запуская модели искусственного интеллекта на устройстве, SenseCAP Watcher способен распознавать разнообразные объекты, такие как люди, яблоки, домашние животные и многое другое.
Благодаря LLM, Watcher может фиксировать точные события, которые вы ему задали. Это означает, что он не только обнаруживает цели, но и тщательно анализирует их поведение и статус. Например, Watcher может сообщить: «Собака играет в мяч, в комнате никого нет» или «Люди прибыли в спецодежде DHL» и так далее.
Искусственный интеллект + LLM
Регулярное использование Large Language Models (LLM), таких как ChatGPT, связано с высокими затратами. Чтобы снизить эти расходы, мы применяем архитектуру ИИ на устройстве + LLM.
Модель ИИ на устройстве выполняет функцию обнаружения, а затем передает эту информацию в LLM для более точного и эффективного анализа.
Например, если нужно определить, рвет ли собака бумагу, модель на устройстве сначала находит собак, а затем отправляет ключевой кадр в LLM для дальнейшего изучения. Это позволяет избежать необходимости запускать LLM для анализа изображений людей, кошек, белок или других объектов, что значительно снижает затраты.
Возможность голосового общения
Когда наблюдатель замечает определённое событие, он может вступать в диалог с людьми, используя голос. Например, вы можете настроить его следующим образом:
Событие: Кто-то берёт в руки розовую клавиатуру.
Реакция: Установить две реакции:
1. Одна — через голосовой ответ: «Отличный выбор! Это наша последняя версия, вдохновлённая пишущей машинкой Pink Royal».
2. Другая — через текстовое сообщение продавцам: «Кто-то интересуется последней клавиатурой! Пожалуйста, подойдите к полке как можно скорее».
Наблюдатель может оказаться в разных ситуациях, что позволит ему давать разнообразные ответы. Если он увидит, как собака рвёт документы, он может сказать: «Стой, Купер!» А если человек курит в местах, где это запрещено, наблюдатель может предупредить его: «Не курить!»
Добавьте наблюдателя в Умный дом
Расширьте свои системы с помощью простого подключаемого модуля
После того как устройство обнаружит заданное событие, оно может выполнять различные действия. Например, отправлять push-сообщения в приложение SenseCraft или мигать светодиодом на Watcher.
Когда ваш Watcher подключен к платформе IoT, например, Home Assistant, он начинает действовать как датчик поведения, активируя подходящие действия в различных ситуациях. Например, когда он обнаруживает людей, то анализирует обстановку и автоматически выполняет действия: включает свет для чтения и выключает для сна.
«Когда кто-то спит, приглушите свет».
Совместим с внешними датчиками
Watcher — это не только камера и микрофон, его можно дополнить другими сенсорами.
На задней панели Watcher предусмотрен порт, который позволяет разместить более 100 датчиков Grove.
Такая гибкость дает Watcher возможность интегрировать разнообразные источники данных для глубокого анализа и принятия соответствующих решений. Вы сможете создавать приложения, которые, например, будут определять температуру в помещении и регулировать кондиционер в зависимости от вашего гардероба. Например, когда вы в костюме, кондиционер можно настроить на температуру 22°C, а когда вы в шортах — на 26°C.
Добавьте Watcher к Arduino | ESP32 и другим аппаратным системам
Хотите добавить агента ИИ к популярным микроконтроллерам и одноплатным компьютерам, таким как Arduino/ESP32/Raspberry Pi?
Просто подключите его к Watcher через UART, HTTP или USB.
