- Alimenté par Raspberry Pi 5, compatible avec ROS2, et programmé en Python, en faisant une plateforme idéale pour le développement de robots AI
- Prend en charge à la fois les châssis à roue Mecanum et Ackermann, permettant une flexibilité pour diverses applications et répondant aux besoins divers des utilisateurs
- Équipé de moteurs à encodeur en circuit fermé, de lidar TOF, de caméra de profondeur 3D, de servos à couple élevé, et d'autres pièces avancées pour assurer des performances optimales
- Prend en charge la cartographie SLAM, la planification de trajectoire, la coordination multi-robots, la reconnaissance visuelle, le suivi de cible, et plus encore
- Alimenté par YOLOv5 et ChatGPT, il permet la conduite autonome et l'interaction naturelle homme-robot grâce à l'apprentissage profond et à l'AI multimodale.
Description du produit
MentorPi est une voiture robot intelligente alimentée par Raspberry Pi 5 et prend en charge ROS2. Elle offre deux options de châssis : roue Mecanum et roue Ackermann. Équipée de moteurs à encodeur en circuit fermé à haute vitesse, de Lidar, d'une caméra de profondeur 3D et de servos à grand couple, elle offre des capacités de haute performance. Celles-ci incluent la cartographie SLAM, la planification de trajectoire, la reconnaissance visuelle et la conduite autonome. Avec l'entraînement du modèle YOLOv5, MentorPi peut détecter les panneaux routiers et les feux de circulation.
MentorPi déploie également un modèle Al multimodal pour prendre en charge des applications Al incarnées plus avancées. Pour vous aider à libérer tout son potentiel, nous proposons des tutoriels et des vidéos complets conçus pour inspirer et soutenir vos projets créatifs Al.
① Caméra de profondeur 3D
La caméra de profondeur 3D permet non seulement des fonctions visuelles AI mais prend également en charge des fonctionnalités avancées telles que le traitement des données d'image de profondeur et la cartographie et navigation visuelle 3D.
② Contrôleur Raspberry Pi 5
MentorPi est alimenté par le contrôleur Raspberry Pi 5 vous permettant de vous lancer dans des projets de contrôle de mouvement, de vision par ordinateur et OpenCV.
③ Lidar TOF STL-19P
MentorPi est équipé de lidar, qui peut réaliser la cartographie SLAM et la navigation, et prend en charge la planification de trajectoire, la navigation à point fixe et l'évitement dynamique des obstacles.
④ Moteur à encodeur haute performance
Il offre une force robuste, dispose d'un encodeur de haute précision et comprend une coque de protection pour assurer une durée de vie prolongée.
1) Conception à double contrôleur pour une collaboration efficace
① Contrôleur hôte
- Contrôleur ROS (JETSON, Raspberry Pi, etc.)
- Traitement d'image visuelle AI
- Réseau neuronal profond
- Interaction vocale homme-machine
- Algorithmes Al avancés
- Localisation et cartographie simultanées (SLAM)
② Sous-contrôleur
- Planche d'extension ROS
- Contrôle PID haute fréquence
- Contrôle en circuit fermé du moteur
- Contrôle et retour du servo
- Acquisition de données IMU
- Surveillance de l'état de l'alimentation
1. Intégration du grand modèle AI avec cartographie et navigation SLAM
MentorPi combine un grand modèle multimodal pour comprendre les commandes vocales des utilisateurs via un grand modèle de langage, permettant une navigation multi-point. Une fois arrivé à l'emplacement désigné, il utilise un modèle de langage visuel pour acquérir une compréhension approfondie des objets et événements environnants. Cette approche améliore considérablement l'intelligence, l'adaptabilité et l'expérience utilisateur globale du robot, le rendant mieux adapté pour répondre aux besoins du monde réel. L'explication suivante utilise la version roue Mecanum de MentorPi comme exemple. Ses fonctions sont les mêmes que celles de la version Ackermann.
1) Compréhension sémantique
MentorPi exploite un grand modèle de langage pour interpréter et analyser avec précision les commandes vocales des utilisateurs, permettant une compréhension plus approfondie de l'intention du langage naturel.
2) Perception environnementale
Propulsé par un modèle de langage visuel, MentorPi peut interpréter les objets dans son environnement et comprendre la disposition spatiale de l'environnement.
3) Navigation intelligente
MentorPi envoie continuellement des données environnementales au modèle de langage visuel pour une analyse approfondie en temps réel. Il ajuste dynamiquement son chemin de navigation en fonction des commandes vocales des utilisateurs, lui permettant de naviguer de manière autonome vers les zones désignées et de fournir un routage intelligent et adaptatif.
4) Compréhension de la scène
Avec le soutien d'un modèle de langage visuel, MentorPi peut interpréter en profondeur les informations sémantiques de son environnement, y compris les objets et événements environnants dans son champ de vision.
2. Applications AI incarnées de grand modèle
MentorPi est équipé d'un module d'interaction vocale AI haute performance. Contrairement aux systèmes AI conventionnels qui fonctionnent sur des mécanismes de commande-réponse unidirectionnels, MentorPi exploite ChatGPT pour permettre une transition cognitive de la compréhension sémantique à l'exécution physique, améliorant considérablement la fluidité et la naturalité de l'interaction homme-machine. Combiné avec la vision par ordinateur, MentorPi présente des capacités avancées en perception, raisonnement et action autonome, ouvrant la voie à des applications AI incarnées plus sophistiquées.
1) Contrôle vocal
Avec l'intégration de ChatGPT, MentorPi peut comprendre les commandes vocales et effectuer les actions correspondantes, permettant une interaction vocale intuitive et fluide.
2) Suivi de couleur
MentorPi utilise l'analyse du modèle de langage visuel pour détecter et verrouiller tout objet dans son champ de vision. Avec l'intégration d'un algorithme PID, il atteint un suivi de cible précis et en temps réel.
3) Suivi visuel
Avec les capacités de perception avancées d'un modèle de langage visuel, MentorPi peut identifier intelligemment et verrouiller les objets cibles même dans des environnements complexes, lui permettant d'effectuer un suivi en temps réel avec adaptabilité et précision.
4) Patrouille autonome
Utilisant la compréhension sémantique d'un grand modèle de langage, MentorPi peut détecter et suivre avec précision des lignes de différentes couleurs en temps réel tout en naviguant de manière autonome autour des obstacles, assurant une patrouille fluide et efficace.
3. Déploiement de grand modèle multimodal
MentorPi est équipé d'un module d'interaction vocale Al haute performance. Contrairement aux systèmes Al conventionnels qui fonctionnent sur des mécanismes de commande-réponse unidirectionnels, MentorPi exploite ChatGPT pour permettre une transition cognitive de la compréhension sémantique à l'exécution physique, améliorant considérablement la fluidité et la naturalité de l'interaction homme-machine. Combiné avec la vision par ordinateur, MentorPi présente des capacités avancées en perception, raisonnement et action autonome, ouvrant la voie à des applications Al incarnées plus sophistiquées.
1) Grand modèle de langage
Avec l'intégration du grand modèle ChatGPT, MentorPi fonctionne comme un "super cerveau" capable de comprendre diverses commandes utilisateur et de répondre intelligemment et contextuellement.
2) Grand modèle de parole
Avec l'intégration de la boîte d'interaction vocale Al, MentorPi est équipé de capacités d'entrée et de sortie vocale, lui donnant fonctionnellement des "oreilles" et une "bouche". Utilisant des modèles de langage de parole avancés de bout en bout et des technologies de traitement du langage naturel (NLP), MentorPi peut effectuer une reconnaissance vocale en temps réel et générer des réponses naturelles et humaines, permettant une interaction homme-machine vocale fluide et intuitive.
3) Modèle de langage visuel
MentorPi s'intègre au grand modèle de vision d'OpenRouter, permettant une compréhension et une analyse avancées des images. Il peut identifier et localiser avec précision les objets dans des scènes visuelles complexes, tout en fournissant des descriptions détaillées couvrant les noms d'objets, les caractéristiques et d'autres attributs pertinents.
4. Fonction Lidar
Mentor Pi est équipé de lidar, qui prend en charge la planification de trajectoire, la navigation à point fixe, la navigation et l'évitement des obstacles, la cartographie de multiples algorithmes, et réalise les fonctions de garde et de suivi lidar.
① Cartographie et navigation Lidar
MentorPi peut réaliser des fonctions SLAM avancées par lidar, y compris la localisation, la cartographie et la navigation, la planification de trajectoire, l'évitement dynamique des obstacles, le suivi et la garde Lidar, etc.
② Méthode de cartographie Lidar 2D
Le Lidar TOF utilise la boîte à outils SLAM pour les algorithmes de cartographie et prend en charge la navigation à point fixe, la navigation multi-point, ainsi que la planification de trajectoire TEB.
③ Navigation multi-point
MentorPi est équipé d'un Lidar de haute précision qui fournit une détection environnementale en temps réel. Il prend en charge à la fois la navigation à point fixe et la navigation multi-point, le rendant adapté aux scénarios de navigation complexes.
④ Cartographie et navigation en coopération multi-robots
En exploitant la technologie de communication et de navigation multi-racines, plusieurs robots peuvent collaborer pour cartographier simultanément leur environnement. Cela permet la navigation multi-robots, la planification de trajectoire.
⑤ Évitement dynamique des obstacles
En utilisant le Lidar TOF, MentorPi peut détecter les obstacles pendant la navigation et planifier intelligemment son chemin pour les éviter efficacement.
⑥ Suivi et garde Lidar
MentorPi peut travailler avec le Lidar pour scanner et suivre ensuite une cible en mouvement devant. MentorPi utilise le Lidar TOF pour scanner la zone sécurisée. Lorsqu'un intrus est détecté, il se tournera automatiquement vers l'intrus et activera une alarme.
5. Fonction de caméra de profondeur 3D
① Cartographie et navigation 3D Vision RTAB-VSLAM
Équipé d'une caméra de profondeur Angstrong, Mentor Pi peut percevoir efficacement les changements environnementaux, permettant une interaction Al intelligente avec les humains.
② Données de carte de profondeur, nuage de points
Grâce à l'API correspondante, MentorPi peut obtenir une carte de profondeur, une image couleur et un nuage de points de la caméra.
③ Reconnaissance et suivi des couleurs
Travaillant avec OpenCV, MentorPi peut suivre une couleur spécifique. Après avoir sélectionné la couleur sur l'application, il émet une lumière de couleur correspondante et se déplace avec l'objet de cette couleur.
④ Suivi de cible
Grâce au positionnement visuel de l'objet cible, l'objet cible peut être mieux ciblé et suivi.
⑤ Reconnaissance de code QR
MentorPi peut reconnaître le contenu des codes QR personnalisés et afficher les informations décodées.
⑥ Suivi de ligne visuelle
MentorPi prend en charge la sélection de couleur personnalisée, et le robot peut identifier les lignes de couleur et les suivre.
6. Apprentissage profond, conduite autonome
Dans le système ROS, MentorPi a déployé le cadre d'apprentissage profond PyTorch, la bibliothèque de traitement d'image open source OpenCV et l'algorithme de détection de cible YOLOV5 pour aider les utilisateurs qui souhaitent explorer le domaine de la technologie d'image de conduite autonome à profiter facilement de la conduite autonome Al.
① Détection de panneaux routiers
Grâce à l'entraînement de la bibliothèque de modèles d'apprentissage profond, MentorPi peut réaliser la fonction de conduite autonome avec la vision Al.
② Maintien de voie
MentorPi est capable de reconnaître les voies des deux côtés pour maintenir une distance de sécurité entre lui et les voies.
③ Stationnement autonome
Combiné avec des algorithmes d'apprentissage profond pour simuler des scénarios réels, le stationnement latéral et l'entreposage peuvent être réalisés.
④ Prise de décision de virage
Selon les voies, les panneaux routiers et les feux de circulation, MentorPi estimera le trafic et décidera s'il doit tourner.
⑤ Reconnaissance d'objet YOLO
Utilisez l'algorithme de réseau YOLO et la bibliothèque de modèles d'apprentissage profond pour reconnaître les objets.
⑥ Développement MediaPipe, interaction Al améliorée
MentorPi utilise le cadre de développement MediaPipe pour accomplir diverses fonctions, telles que la reconnaissance des bouts de doigts, la reconnaissance du corps humain, la détection 3D et la détection de visage 3D.
7. Programmation Python open source
MentorPi prend en charge la programmation Python. Tout le code Python intelligent AI est open source, avec des annotations détaillées pour un auto-apprentissage facile.
8. Contrôle par manette sans fil
MentorPi prend en charge le contrôle par manette sans fil et peut se connecter au robot via Bluetooth pour contrôler le robot en temps réel.
9. Contrôle par application
L'application WonderPi prend en charge Android et iOS. Changez facilement et rapidement de mode de jeu pour découvrir divers jeux AI.
