- 【Raspberry Pi 5 & ROS2 Robot Car】 MentorPi est alimenté par Raspberry Pi 5, compatible avec ROS2, et programmé en Python, en faisant une plateforme idéale pour le développement de robots AI.
- 【Configurations de châssis multiples】 Prend en charge les châssis à roues Mecanum, de char et Ackermann, permettant une flexibilité pour diverses applications et répondant aux besoins divers des util
- 【Capacités AI avancées】Prend en charge la cartographie SLAM, la planification de trajectoire, la coordination multi-robots, la reconnaissance visuelle, le suivi de cible, et plus encore.
- 【Conduite autonome avec apprentissage profond】Utilisation de YOLOv5 pour la reconnaissance des panneaux de signalisation et des feux de circulation, aidant les utilisateurs à explorer les technologie
- 【Propulsé par un grand modèle AI, interaction homme-robot redéfinie】Caractérisé par un AI multimodal avec ChatGPT, vision 3D et interaction vocale, permettant une AI incarnée avancée et une interacti
Description du produit
MentorPi est une voiture robot intelligente alimentée par Raspberry Pi 5 et prend en charge ROS2. Équipée d'un châssis de char, de moteurs à codeur en circuit fermé à haute vitesse, de Lidar, d'une caméra de profondeur 3D et de servos à couple élevé, elle offre des capacités de haute performance. Celles-ci incluent la cartographie SLAM, la planification de trajectoire, la reconnaissance visuelle et la conduite autonome. Avec l'entraînement du modèle YOLOv5, MentorPi peut détecter les panneaux de signalisation et les feux de circulation. MentorPi déploie également un grand modèle AI multimodal pour prendre en charge des applications AI incarnées plus avancées. Pour vous aider à libérer tout son potentiel, nous proposons des tutoriels et des vidéos complets conçus pour inspirer et soutenir vos projets créatifs en AI.
① Caméra de profondeur Aurora930 Pro
La caméra de profondeur 3D permet non seulement des fonctions visuelles AI mais prend également en charge des fonctionnalités avancées telles que le traitement des données d'image de profondeur et la cartographie et navigation visuelle 3D.
② Contrôleur Raspberry Pi 5
MentorPi est alimenté par le contrôleur Raspberry Pi 5 vous permettant de vous lancer dans des projets de contrôle de mouvement, de vision par ordinateur et d'OpenCV.
③ Lidar Oradar MS200
MentorPi est équipé de Lidar, qui peut réaliser la cartographie et la navigation SLAM, et prend en charge la planification de trajectoire, la navigation à point fixe et l'évitement dynamique des obstacles.
④ Moteur à codeur haute performance
Il offre une force robuste, dispose d'un codeur de haute précision, et comprend une coque de protection pour assurer une durée de vie prolongée.
1) Conception à double contrôleur pour une collaboration efficace
① Contrôleur hôte
- Contrôleur ROS (JETSON, Raspberry Pi, etc.)
- Traitement d'image visuelle AI
- Réseau neuronal profond
- Interaction vocale homme-machine
- Algorithmes AI avancés
- Localisation et cartographie simultanées (SLAM)
② Sous-contrôleur
- Planche d'extension ROS
- Contrôle PID haute fréquence
- Contrôle en circuit fermé du moteur
- Contrôle et retour du servo
- Acquisition de données IMU
- Surveillance de l'état de l'alimentation
1. Intégration d'un grand modèle AI avec cartographie et navigation SLAM
MentorPi combine un grand modèle multimodal pour comprendre les commandes vocales des utilisateurs via un grand modèle de langage, permettant une navigation multi-point. Une fois arrivé à l'emplacement désigné, il utilise un modèle de langage visuel pour obtenir une compréhension approfondie des objets et événements environnants. Cette approche améliore considérablement l'intelligence, l'adaptabilité et l'expérience utilisateur globale du robot, le rendant mieux adapté pour répondre aux besoins du monde réel. L'explication suivante utilise la version à roues Mecanum de MentorPi comme exemple. Ses fonctions sont les mêmes que celles de la version Ackermann.
1) Compréhension sémantique
MentorPi utilise un grand modèle de langage pour interpréter et analyser avec précision les commandes vocales des utilisateurs, permettant une compréhension plus profonde de l'intention du langage naturel.
2) Perception environnementale
Propulsé par un modèle de langage visuel, MentorPi peut interpréter les objets dans son environnement et comprendre la disposition spatiale de l'environnement.
3) Navigation intelligente
MentorPi envoie en continu des données environnementales au modèle de langage visuel pour une analyse approfondie en temps réel. Il ajuste dynamiquement son chemin de navigation en fonction des commandes vocales des utilisateurs, lui permettant de naviguer de manière autonome vers les zones désignées et de fournir un routage intelligent et adaptatif.
4) Compréhension de la scène
Avec le soutien d'un modèle de langage visuel, MentorPi peut interpréter en profondeur les informations sémantiques de son environnement, y compris les objets et événements environnants dans son champ de vision.
2. Applications AI incarnées avec grand modèle
MentorPi est équipé d'un module d'interaction vocale AI haute performance. Contrairement aux systèmes AI conventionnels qui fonctionnent sur des mécanismes de commande-réponse unidirectionnels, MentorPi utilise ChatGPT pour permettre une transition cognitive de la compréhension sémantique à l'exécution physique, améliorant considérablement la fluidité et la naturalité de l'interaction homme-machine. Combiné avec la vision par ordinateur, MentorPi présente des capacités avancées en perception, raisonnement et action autonome, ouvrant la voie à des applications AI incarnées plus sophistiquées.
1) Contrôle vocal
Avec l'intégration de ChatGPT, MentorPi peut comprendre les commandes vocales et effectuer les actions correspondantes, permettant une interaction vocale intuitive et fluide.
2) Suivi de couleur
MentorPi utilise l'analyse du modèle de langage visuel pour détecter et verrouiller tout objet dans son champ de vision. Avec l'intégration d'un algorithme PID, il atteint un suivi précis et en temps réel de la cible.
3) Suivi visuel
Avec les capacités de perception avancées d'un modèle de langage visuel, MentorPi peut identifier intelligemment et verrouiller les objets cibles même dans des environnements complexes, lui permettant d'effectuer un suivi en temps réel avec adaptabilité et précision.
4) Patrouille autonome
Utilisant la compréhension sémantique d'un grand modèle de langage, MentorPi peut détecter et suivre avec précision des lignes de différentes couleurs en temps réel tout en naviguant de manière autonome autour des obstacles, assurant une patrouille fluide et efficace.
3. Déploiement de grand modèle multimodal
MentorPi est équipé d'un module d'interaction vocale AI haute performance. Contrairement aux systèmes AI conventionnels qui fonctionnent sur des mécanismes de commande-réponse unidirectionnels, MentorPi utilise ChatGPT pour permettre une transition cognitive de la compréhension sémantique à l'exécution physique, améliorant considérablement la fluidité et la naturalité de l'interaction homme-machine. Combiné avec la vision par ordinateur, MentorPi présente des capacités avancées en perception, raisonnement et action autonome, ouvrant la voie à des applications AI incarnées plus sophistiquées.
1) Grand modèle de langage
Avec l'intégration du grand modèle ChatGPT, MentorPi fonctionne comme un "super cerveau" capable de comprendre diverses commandes utilisateur et de répondre de manière intelligente et contextuelle.
2) Grand modèle de parole
Avec l'intégration de la boîte d'interaction vocale AI, MentorPi est équipé de capacités d'entrée et de sortie vocale, lui donnant fonctionnellement des "oreilles" et une "bouche". Utilisant des modèles de langage-parole avancés de bout en bout et des technologies de traitement du langage naturel (NLP), MentorPi peut effectuer une reconnaissance vocale en temps réel et générer des réponses naturelles et semblables à celles d'un humain, permettant une interaction homme-machine vocale fluide et intuitive.
3) Modèle de langage visuel
MentorPi s'intègre au grand modèle visuel d'OpenRouter, permettant une compréhension et une analyse avancées des images. Il peut identifier et localiser avec précision les objets dans des scènes visuelles complexes, tout en fournissant des descriptions détaillées couvrant les noms des objets, leurs caractéristiques et d'autres attributs pertinents.
4. Fonctionnement différentiel de la vitesse du châssis de char
-Le châssis de char est composé de chenilles antidérapantes de haute qualité, de moteurs à codeur de haute précision et d'un système de transmission à plusieurs roues, permettant à MentorPi d'effectuer des mouvements précis vers l'avant et des virages dans toutes les directions.
5. Fonction Lidar
Mentor Pi est équipé de lidar, qui prend en charge la planification de trajectoire, la navigation à point fixe, la navigation et l'évitement des obstacles, la cartographie par algorithmes multiples, et réalise les fonctions de garde et de suivi par lidar.
① Cartographie et navigation par Lidar
MentorPi peut réaliser des fonctions SLAM avancées par lidar, y compris la localisation, la cartographie et la navigation, la planification de trajectoire, l'évitement dynamique des obstacles, le suivi et la garde par lidar, etc.
② Méthode de cartographie Lidar 2D
Le Lidar TOF utilise la boîte à outils SLAM pour les algorithmes de cartographie et prend en charge la navigation à point fixe, la navigation multi-point, ainsi que la planification de trajectoire TEB.
③ Navigation multi-point
MentorPi est équipé d'un lidar de haute précision qui fournit une détection environnementale en temps réel. Il prend en charge à la fois la navigation à point fixe et la navigation multi-point, le rendant adapté aux scénarios de navigation complexes.
④ Cartographie et navigation en coopération multi-robots
En utilisant la technologie de communication et de navigation multi-racines, plusieurs robots peuvent collaborer pour cartographier simultanément leur environnement. Cela permet la navigation multi-robots, la planification de trajectoire.
⑤ Évitement dynamique des obstacles
En utilisant le Lidar TOF, MentorPi peut détecter les obstacles pendant la navigation et planifier intelligemment son chemin pour les éviter efficacement.
⑥ Suivi et garde par Lidar
MentorPi peut travailler avec le Lidar pour scanner et suivre ensuite une cible en mouvement devant. MentorPi utilise le Lidar TOF pour scanner la zone sécurisée. Lorsqu'un intrus est détecté, il se tournera automatiquement vers l'intrus et activera une alarme.
6. Fonction de la caméra de profondeur 3D
① Cartographie et navigation 3D Vision RTAB-VSLAM
Équipé d'une caméra de profondeur Angstrong, Mentor Pi peut percevoir efficacement les changements environnementaux, permettant une interaction AI intelligente avec les humains.
② Données de carte de profondeur, nuage de points
Grâce à l'API correspondante, MentorPi peut obtenir une carte de profondeur, une image couleur et un nuage de points de la caméra.
③ Reconnaissance et suivi des couleurs
En travaillant avec OpenCV, MentorPi peut suivre une couleur spécifique. Après avoir sélectionné la couleur sur l'application, il émet une lumière de couleur correspondante et se déplace avec l'objet de cette couleur.
④ Suivi de cible
Grâce au positionnement visuel de l'objet cible, l'objet cible peut être mieux ciblé et suivi.
⑤ Reconnaissance de code QR
MentorPi peut reconnaître le contenu des codes QR personnalisés et afficher les informations décodées.
⑥ Suivi de ligne visuelle
MentorPi prend en charge la sélection de couleur personnalisée, et le robot peut identifier les lignes de couleur et les suivre.
7. Apprentissage profond, conduite autonome
Dans le système ROS, MentorPi a déployé le cadre d'apprentissage profond PyTorch, la bibliothèque de traitement d'image open source OpenCV et l'algorithme de détection de cible YOLOV5 pour aider les utilisateurs qui souhaitent explorer le domaine de la technologie d'image de conduite autonome à profiter facilement de la conduite autonome AI.
① Détection de panneaux de signalisation
Grâce à l'entraînement de la bibliothèque de modèles d'apprentissage profond, MentorPi peut réaliser la fonction de conduite autonome avec vision AI.
② Maintien de voie
MentorPi est capable de reconnaître les voies des deux côtés pour maintenir une distance de sécurité entre lui et les voies.
③ Stationnement autonome
Combiné avec des algorithmes d'apprentissage profond pour simuler des scénarios réels, le stationnement latéral et l'entreposage peuvent être réalisés.
④ Prise de décision de virage
Selon les voies, les panneaux de signalisation et les feux de circulation, MentorPi estimera le trafic et décidera s'il doit tourner.
⑤ Reconnaissance d'objets YOLO
Utilisez l'algorithme de réseau YOLO et la bibliothèque de modèles d'apprentissage profond pour reconnaître les objets.
⑥ Développement MediaPipe, interaction AI améliorée
MentorPi utilise le cadre de développement MediaPipe pour accomplir diverses fonctions, telles que la reconnaissance des bouts de doigts, la reconnaissance du corps humain, la détection 3D et la détection de visage 3D.
8. Programmation Python open source
MentorPi prend en charge la programmation Python. Tout le code Python intelligent AI est open source, avec des annotations détaillées pour un auto-apprentissage facile.
9. Contrôle par manette sans fil
MentorPi prend en charge le contrôle par manette sans fil et peut se connecter au robot via Bluetooth pour contrôler le robot en temps réel.
10. Contrôle par application
L'application WonderPi prend en charge Android et iOS. Changez facilement et rapidement de mode de jeu pour découvrir divers jeux AI.
