Raspberry Pi AI Camera

Seguindo o passo-a-passo abaixo você irá rodar um exemplo de rede pré-treinada usando MobileNet SSD e PoseNet, ambos modelos de redes neurais, com uma Raspberry Pi e a Raspberry Pi AI Camera. Este exemplo assume que você está usando uma Raspberry Pi 4 ou 5 (com algumas pequenas modificações é possível rodar o exemplo em uma Raspberry Pi Zero 2W ou Raspberry Pi 3B+). O primeiro passo é baixar ou atualizar a versão do sistema operacional para o mais recente.

Para atualizar o sistema operacional você pode utilizar o comando abaixo no terminal:

O próximo passo é instalar o firmware que fará a placa reconhecer o chip IMX500 da Sony. Para isso rode o seguinte comando:

Finalizada a instalação, reinicie sua placa com o comando:

Agora todos os softwares estão instalados e prontos para fazer a AI Camera funcionar. Esta câmera é totalmente integrada com os pacotes libcamera, rpicam-apps e Picamera2, portanto podemos usar as facilidades deles para usar esta câmera incrível.

rpicam-apps

As aplicações com câmera usando o rpicam-apps incluem um detector de objetos e um estimador de poses usando o IMX500, que podem ser usados no pipeline de pós-processamento. Os exemplos que serão usados abaixo podem ser encontrados na pasta /usr/share/rpicam-assets/

Detecção de Objetos

A rede neural MobileNet SSD consegue fazer detecções básicas de objetos, fornecedondo retângulos ao redor dos objetos detectados, bem como valores de confiabilidade da detecção para cada objeto encontrado. Para rodar este exemplo no CLI basta usar o seguinte comando:

Depois de rodar o comando acima você deverá ver uma tela se abrir no monitor com o feed em tempo real da câmera, já identificando os objetos que a rede MobileNet SSD foi treinada para detectar.

Estimação de Poses

A rede neural PoseNet consegue fazer detecção de poses, encontrando pontos chaves no corpo associados a juntas e membros. Para rodar este exemplo envie o seguinte comando no terminal:

Picamera2

O módulo Picamera2 é um dos mais usados atualmente com câmeras em placas Raspberry Pi. No repositório no Github existem exemplos para classificação de imagens, detecção de objetos, segmentação de objetos e estimação de pose. A maioria dos exemplos usa a biblioteca OpenCV para processamentos adicionais. Para instalar as dependências para rodar OpenCV, rode o seguinte comando:

Agora baixe do repositório do Github para sua Raspberry Pi os exemplos. Depois de baixados os exemplos, rode o seguinte comendo para fazer detecção de objetos usando YOLOv8:

Para testar a estimação de poses usando Picamera2, rode o seguinte exemplo do repositório:

Caso queira entender a arquitetura do sistema usado por essa câmera, sugerimos verificar a Documentação oficial da Raspberry Pi sobre a AI Camera.