- Piloté par l'IA et compatible ROS : JetArm Pro est un bras robotique haute performance alimenté par des modules Jetson, entièrement compatible avec ROS1/ROS2 et idéal pour le développement avancé bas
- Vision 3D Puissante et Matériel : Caractérisé par six servos intelligents à couple élevé, une caméra 3D, un écran tactile de 7 pouces et un ensemble de microphones pour une préhension, un suivi, un t
- Interaction Naturelle Homme-Robot : Combine la vision 3D avec l'IA pilotée par ChatGPT pour une interaction multimodale intuitive et une intelligence incarnée.
- Extension multimodale polyvalente : S'intègre facilement avec des roues Mecanum, des rails coulissants et des convoyeurs pour construire des systèmes de transport intelligents et des workflows d'auto
- Technologie de pointe avec support d'apprentissage complet : Couvre ROS, vision, apprentissage profond et simulation avec des tutoriels complets, permettant aux utilisateurs de maîtriser la robotique
Description du produit
JetArm Pro est un robot multimodal alimenté par l'IA conçu pour l'éducation basée sur ROS. Amélioré à partir du bras robotique JetArm, il prend en charge des modules complémentaires modulaires tels que le châssis mecanum/tank, le rail coulissant et la bande transporteuse, permettant des applications telles que le transport intelligent, le suivi de ligne visuelle et même des systèmes de tri automatisés par IA. Avec un support intégré pour le modèle multimodal large et une intégration avec des plateformes comme ChatGPT, JetArm Pro peut percevoir, planifier et exécuter des tâches complexes d'IA incarnée. Hiwonder fournit du code open-source, des ressources d'apprentissage et des expériences pratiques pour aider les utilisateurs à construire et explorer facilement leurs propres projets d'IA.
1) Vision en profondeur, Préhension flexible en scène 3D
L'extrémité du bras robotique JetArm Pro est équipée d'une caméra 3D haute performance, qui peut réaliser la reconnaissance, le suivi et la préhension de cibles. Grâce à la détection par fusion RGB+D, JetArm Pro peut également réaliser une préhension flexible en scène 3D.
2) Structure tout en métal, Base de roulement
Le corps du bras robotique adopte une structure tout en métal, et la surface est anodisée, la rendant exquise et belle. La base utilise des roulements de qualité industrielle pour répondre à des projets de préhension à forte demande.
3) Conception de structure enveloppée, Câblage soigné
JetArm Pro adopte une conception de structure enveloppée, et le câblage du servo peut être caché à l'intérieur du fuselage, rendant l'extérieur du fuselage propre et ordonné.
4) Microphone circulaire
JetArm Pro est livré avec un ensemble de 6 microphones circulaires qui offre une excellente réduction du bruit et une capture audio claire. Il prend en charge des fonctionnalités avancées telles que la localisation de la source sonore, la reconnaissance vocale, les annonces vocales et le contrôle vocal.
1. Conception à double contrôleur pour une collaboration efficace
1) Contrôleur principal
● Contrôleur ROS (JETSON Orin Nano)
● Traitement d'image en profondeur
● Interaction vocale homme-machine
● Algorithmes Al avancés
● Réseaux neuronaux profonds
● Traitement d'image visuelle Al
2) Sous-contrôleur
● Contrôleur de robot STM32
● Contrôle et retour d'information du servo
● Surveillance de l'état de l'alimentation
2. Extension multimodale
JetArmPro est construit sur une architecture modulaire qui prend en charge une variété d'extensions multimodales, y compris le châssis à roues Mecanum, le châssis de char, le rail coulissant et la bande transporteuse. Ces améliorations permettent une large gamme d'applications créatives telles que le transport mobile, la manipulation intelligente et le suivi de ligne. De plus, il fournit une base solide pour développer des scénarios Al avancés comme les systèmes de tri automatisés. (Compatible uniquement avec ROS2)
1) Module complémentaire de châssis à roues Mecanum
Le châssis à roues Mecanum adopte une conception de suspension à pendule, garantissant que les quatre roues restent en contact avec le sol, même sur des surfaces inégales. Cela permet à JetArm Pro d'effectuer un mouvement omnidirectionnel à 360 degrés et une rotation sur place, offrant une mobilité flexible et stable dans divers environnements de fonctionnement.
2) Module complémentaire de châssis de char
Le châssis à chenilles est doté de chenilles antidérapantes de haute qualité, de moteurs à encodeur de précision et d'un système de transmission à plusieurs roues, permettant à JetArm Pro d'atteindre un mouvement et un virage précis dans toutes les directions.
3) Module complémentaire de rail coulissant
Entraîné par un moteur pas à pas, le rail coulissant offre jusqu'à 500 mm de déplacement effectif, élargissant considérablement la plage de mouvement du bras robotique sur le bureau. Cela permet une gamme plus large d'applications créatives alimentées par Al.
4) Module complémentaire de bande transporteuse
Conçu pour un transport fluide et fiable de divers objets, la bande transporteuse dispose d'une vitesse et d'une direction réglables, ce qui en fait un choix parfait pour créer des solutions de manutention et de logistique automatisées par Al.
3. Fonction de châssis mobile
JetArm Pro prend en charge les modules complémentaires de châssis à roues Mecanum et de châssis de char, permettant des capacités de transport intelligent, de mobilité et de suivi de ligne. Son design détachable permet de passer facilement d'un bras robotique de bureau à un robot mobile, s'adaptant sans effort à différents cas d'utilisation et environnements.
1) Contrôle par application
L'application vous permet de recevoir le flux de caméra en direct FPV de la caméra de JetArm Pro et de contrôler à distance les mouvements du robot.
2) Contrôle par contrôleur sans fil
À l'aide d'un contrôleur sans fil, vous pouvez contrôler à distance les mouvements de JetArm Pro. Grâce à la programmation, il peut effectuer une variété d'actions.
3) Suivi de cible
JetArm Pro peut identifier des cibles dans son champ de vision et les verrouiller et les suivre en continu en temps réel.
4) Suivi de ligne visuelle
JetArm Pro prend en charge la sélection de couleurs personnalisées, et le robot peut identifier les lignes de couleur et les suivre.
4. Fonction de rail coulissant
JetArm Pro prend en charge l'extension de rail coulissant. Le contrôleur communique via I2C pour contrôler directement le moteur pas à pas sur le rail coulissant, étendant sa portée pour les tâches de préhension et de manipulation. Il peut calculer précisément la distance de mouvement du rail, permettant des opérations de transport, de tri et d'empilage précises.
1) Contrôle par contrôleur sans fil
À l'aide d'un contrôleur sans fil, vous pouvez contrôler précisément et instantanément le mouvement de JetArm Pro le long du rail coulissant, permettant des tâches de préhension et de tri efficaces et précises.
2) Tri des couleurs
En utilisant les algorithmes OpenCV, JetArm Pro peut identifier et suivre précisément les cibles dans son champ de vision. Combiné avec une cinématique inverse avancée, il effectue des tâches de tri avec agilité et précision.
3) Tri des déchets
Propulsé par l'entraînement du modèle YOLOv8, JetArm Pro détecte rapidement divers types de "déchets" et utilise la cinématique inverse pour les trier et les placer précisément dans des catégories désignées.
4) Tri des étiquettes
JetArm Pro détecte avec précision divers marqueurs AprilTag et détermine de manière autonome leurs coordonnées. Il ramasse ensuite et trie les objets étiquetés dans des emplacements spécifiés.
5. Fonction de bande transporteuse motorisée
En combinant la bande transporteuse motorisée avec un système de vision, JetArm Pro peut suivre et saisir avec précision des objets se déplaçant sur la bande transporteuse en temps réel, les triant dans des zones spécifiées. Cela permet de simuler une ligne de production industrielle en circuit fermé, ce qui en fait un choix idéal pour les scénarios de tri automatisé par Al.
1) Contrôle par contrôleur sans fil
Le contrôleur sans fil permet un contrôle en temps réel de la direction de la bande transporteuse, fonctionnant parfaitement avec JetArm Pro pour permettre des scénarios de tri efficaces et intelligents.
2) Contrôle de la vitesse
La bande transporteuse offre un contrôle de la vitesse réglable, atteignant jusqu'à 50 mm/s, et prend en charge une charge maximale d'environ 3 kg, parfait pour une gamme de tâches de manutention et de tri.
3) Contrôle de la direction
Programmez facilement la bande transporteuse pour se déplacer dans les deux sens.
4) Tri des couleurs
JetArm Pro peut identifier automatiquement les objets sur la bande transporteuse et, grâce à un contrôle programmable, les saisir et les trier dans des zones spécifiées avec précision.
6. Applications d'IA incarnée pilotées par un grand modèle d'IA
Le kit ultime JetArm Pro est équipé d'un ensemble de 6 microphones circulaires. Allant au-delà du modèle de commande-réponse unidirectionnel des modèles d'IA traditionnels, JetArm Pro, alimenté par ChatGPT, permet un saut cognitif de la compréhension sémantique à l'exécution physique, améliorant considérablement la naturalité et la fluidité de l'interaction homme-machine. Combiné avec une vision machine avancée, JetArm Pro offre des capacités exceptionnelles en perception, raisonnement et action, ce qui en fait un choix idéal pour développer des applications d'IA incarnée sophistiquées.
1) Contrôle vocal
Avec l'intégration de ChatGPT, JetArm Pro peut comprendre les commandes vocales et effectuer les actions correspondantes, permettant une interaction intuitive et fluide contrôlée par la voix.
2) Tri des couleurs
Avec le soutien de ChatGPT, JetArm Pro peut comprendre les commandes des utilisateurs et, combiné avec la vision IA, identifier et trier avec précision les objets en fonction de leurs couleurs dans son champ de vision.
3) Tri des déchets
JetArm Pro utilise le modèle d'apprentissage profond YOLOv8 intégré à son système pour reconnaître différents types d'objets dans la scène. Avec la puissance de ChatGPT, il peut interpréter les commandes des utilisateurs et effectuer les actions correspondantes, telles que le tri des déchets.
4) Tri d'objets 3D
Équipé d'une caméra 3D, JetArm Pro peut détecter des objets de différentes formes dans son champ de vision. Combiné avec ChatGPT, il comprend les instructions des utilisateurs et effectue les actions requises.
5) Détection en temps réel
JetArm Pro, alimenté par ChatGPT d'OpenAI, peut comprendre les commandes des utilisateurs et analyser intelligemment les scènes. Il fournit des commentaires en temps réel sur le contenu de l'image et les caractéristiques des objets à la fois par texte et par voix.
6) Suivi visuel
En intégrant ChatGPT avec le grand modèle visuel d'OpenRouter, JetArm Pro peut interpréter avec précision les commandes des utilisateurs pour identifier et localiser des objets dans son champ de vision. Associé à des algorithmes de cinématique inverse, il permet un suivi de cible précis et réactif.
7) Transport intelligent
En utilisant le grand modèle visuel d'OpenRouter, JetArm Pro peut identifier des objets cibles, récupérer leurs données de position et, avec l'aide de ChatGPT, analyser les commandes des utilisateurs pour déplacer les objets vers des emplacements spécifiés.
8) Assistant domestique intelligent
Grâce à son modèle multimodal intégré, JetArm Pro est capable de reconnaître et d'analyser des objets dans son champ de vision. Associé à ChatGPT, il comprend les commandes des utilisateurs et fournit des réponses verbales et physiques appropriées.
7. Déploiement de modèles multimodaux
JetArm intègre un grand modèle d'IA multimodal et prend en charge le déploiement en ligne via l'API d'OpenAI, permettant un accès en temps réel à des capacités avancées d'IA. Il permet également de passer facilement à des modèles alternatifs, tels que ceux disponibles via OpenRouter, pour prendre en charge les applications de modèle de langage visuel. Au cœur, JetArm est conçu comme un hub d'interaction tout-en-un construit autour de ChatGPT, permettant des cas d'utilisation sophistiqués d'IA incarnée et créant une expérience d'interaction homme-machine fluide et intuitive !
1) Grand modèle de langage
Avec l'intégration du grand modèle ChatGPT, JetArm fonctionne comme un "super cerveau" - capable de comprendre
diverses commandes des utilisateurs et de répondre intelligemment et contextuellement.
2) Grand modèle vocal
Propulsé par un ensemble de 6 microphones, JetArm a maintenant des "oreilles" et une "voix", lui permettant d'entendre votre voix et de répondre en temps réel. Alimenté par une modélisation vocale-langage en streaming de bout en bout avancée et un traitement du langage naturel, il offre une interaction vocale fluide et naturelle.
3) Modèle de langage visuel
JetArm s'intègre au grand modèle visuel d'OpenRouter, permettant une compréhension et une analyse avancées des images. Il
peut identifier et localiser avec précision des objets dans des scènes visuelles complexes, tout en fournissant des descriptions détaillées couvrant les noms d'objets, les caractéristiques et d'autres attributs pertinents.
8. Interaction améliorée par la vision en profondeur 3D Al
Équipé d'une caméra 3D Gemini plus, JetArm peut percevoir efficacement les changements environnementaux, permettant une interaction Al intelligente avec les humains.
1) Reconnaissance de nuage de points en profondeur 3D
Grâce à l'API correspondante de la caméra de profondeur, JetArm peut obtenir la carte de profondeur, la carte de couleur et la carte de nuage de points de l'environnement de détection, puis obtenir les données RGB, les coordonnées de position et les informations de profondeur de l'objet cible pour réaliser la reconnaissance de forme, le tri des couleurs, la mesure de hauteur, la détection de matériau, etc.
2) Mesure de distance de la caméra de profondeur
En capturant les données de nuage de points de profondeur d'un objet, la caméra de profondeur peut déterminer la distance entre l'objet et la caméra. Cela permet une localisation, un tri et un suivi précis des objets.
3) Mesure de hauteur de cible régionale
En obtenant les données de nuage de points de profondeur de l'objet, la hauteur de l'objet peut être identifiée, réalisant ainsi le jeu de suppression des objets hautement anormaux.
4) Mesure de volume de cible régionale
En capturant les données de nuage de points de profondeur, la caméra de profondeur peut mesurer le volume d'un objet après avoir reconnu sa forme et sa hauteur.
9. Suivi de cible de reconnaissance visuelle Al
La caméra 3D de JetArm est équipée d'un objectif RGB. Le bras robotique utilise OpencV comme bibliothèque de traitement d'image, prend en charge la reconnaissance d'image intelligente Al et peut réaliser une variété de jeux de vision intelligents tels que la reconnaissance de couleur et la reconnaissance d'étiquette.
1) Tri des couleurs
JetArm peut reconnaître et trier des blocs de couleur de différentes couleurs. En plus des couleurs standard, JetArm peut également reconnaître une variété de couleurs personnalisées.
2) Reconnaissance d'étiquette, empilage intelligent
JetArm peut reconnaître différents AprilTags et déterminer la position du bloc d'étiquette pour réaliser un empilage intelligent.
3) Suivi de cible
JetArm peut localiser et suivre des cibles, et nous pouvons également utiliser l'apprentissage automatique pour permettre à JetArm de suivre plus d'objets cibles entraînés.
10. Intégration RGB+D pour la préhension aléatoire spatiale 3D
La caméra 3D de JetArm combine les données RGB et de profondeur pour capturer à la fois la couleur de l'objet et les informations de nuage de points de profondeur, améliorant la représentation spatiale. En utilisant l'algorithme de cinématique inverse, JetArm peut effectuer des tâches avancées d'Al telles que la préhension aléatoire d'objets spatiaux 3D, le tri et le transport, permettant des projets plus complexes et dynamiques.
1) Préhension aléatoire spatiale 3D RGB+D
2) Préhension et tri spatial 3D contrôlés par la voix
11. Algorithme de cinématique inverse amélioré
JetArm dispose d'un algorithme de cinématique inverse de haut niveau, qui peut se déplacer vers n'importe quelle coordonnée en scène 3D, et la planification de trajectoire du bras robotique peut également être réalisée par programmation Python.
1) Détection de cible, ajustement adaptatif des articulations
JetArm peut détecter des objets cibles dans la zone de reconnaissance et calculer les coordonnées de position et l'angle de placement de l'objet cible. Combiné avec l'algorithme de cinématique inverse du bras robotique, chaque angle d'articulation est ajusté de manière adaptative pour réaliser une préhension libre.
2) Contrôle de mouvement en scène 3D
JetArm peut utiliser des algorithmes de cinématique inverse pour réaliser un mouvement linéaire et une planification de trajectoire en scène 3D.
3) Fournit le code source pour le modèle DH et la cinématique inverse
Fournir l'analyse de la cinématique inverse, le modèle DH de coordonnées et le code source de la fonction de cinématique inverse du bras robotique JetArm, et entrer les coordonnées finales du bras robotique raccourcissant considérablement le temps de développement du projet.
12. Entraînement de modèle d'apprentissage profond
JetArm intègre des technologies avancées de réseaux neuronaux, utilisant YOLOv8 pour la détection multi-objets en temps réel. Il permet un entraînement de modèle d'apprentissage profond personnalisé pour des objets spécifiques, produisant des modèles légers optimisés pour l'accélération TensorRT, débloquant une large gamme de possibilités créatives alimentées par l'IA.
1) Tri des déchets - Le kit de JetArm est équipé de blocs de motifs de déchets. En chargeant le modèle correspondant, JetArm peut rapidement reconnaître différents déchets et les placer dans la zone de classification correspondante.
2) Tri d'objets - En entraînant des modèles d'objets quotidiens et en générant des modèles correspondants, avec le soutien des caméras de profondeur, JetArm peut rapidement reconnaître et saisir les objets correspondants en obtenant les informations de profondeur des objets.
13. Développement MediaPipe, Interaction Al améliorée
En utilisant le cadre de développement MediaPipe, JetArm permet des fonctionnalités telles que la reconnaissance de gestes, le contrôle de mouvement et le suivi de visage.
1) Reconnaissance de gestes
JetArm peut reconnaître divers gestes, permettant des contrôles interactifs et engageants basés sur les gestes.
2) Suivi de visage
JetArm peut reconnaître des visages humains et récupérer leurs coordonnées, permettant un suivi précis du visage en intégrant des algorithmes de cinématique inverse et PID.
3) Contrôle de trajectoire de bout des doigts
Basé sur la détection de la distance entre les bouts des doigts, JetArm peut effectuer des actions correspondantes.
14. Simulation Gazebo
Le bras robotique JetArm est développé en utilisant le cadre ROS et prend en charge la simulation GAZEBO. Le bras robotique est contrôlé et l'algorithme vérifié dans un environnement virtuel, ce qui réduit les exigences pour l'environnement expérimental et améliore l'efficacité expérimentale.
15. Cinématique Movelt
JetArm Pro intègre la simulation Movelt, vous permettant de contrôler le bras robotique et de valider les algorithmes dans un environnement virtuel. Cela minimise la dépendance aux laboratoires physiques et accélère le processus de développement.
1) Modèle de simulation cinématique URDF
Une réplique virtuelle à l'échelle précise du robot physique. L'outil Movelt offre une interface visuelle avec des fonctionnalités telles que l'opération de glisser-déposer, le contrôle de position prédéfini et l'évitement d'obstacles de mouvement du bras robotique.
2) Contrôle de simulation / Planification de mouvement
Contrôlez les mouvements du bras robotique en temps réel via une interface de simulation visuelle, exécutant des actions qui correspondent précisément au modèle.
3) Détection de collision
Créez des obstacles dans l'environnement de simulation et opérez le bras robotique, qui évitera de manière autonome les collisions pendant le mouvement.
4) Préhension spatiale
Personnalisez la scène de planification pour piloter le bras robotique dans l'exécution de tâches telles que la préhension, le placement et le tri, avec une détection de collision intégrée pour l'environnement.
16. Diverses méthodes de contrôle
1) Application WonderAi
2) Logiciel PC
3) Poignée sans fil
17. Guide de sélection de configuration JetArm Pro
Le Jetson Nano fournit des capacités essentielles d'inférence IA, parfait pour les réseaux neuronaux simples et les modèles d'apprentissage profond, ce qui le rend idéal pour les applications d'IA de niveau débutant. Le Jetson Orin Nano offre 80 fois la performance et la puissance de calcul du Jetson Nano, prenant en charge des modèles d'apprentissage profond plus complexes et une inférence accélérée, ce qui le rend bien adapté pour les applications d'IA avancées en périphérie. Le Jetson Orin NX augmente la puissance de calcul de 2,5 fois par rapport au Jetson Orin Nano, offrant des performances d'inférence IA de premier ordre pour les réseaux neuronaux plus grands et les tâches d'apprentissage profond en temps réel. Cette mise à niveau des performances améliore JetArm Pro, débloquant des capacités exceptionnelles dans le contrôle des servos, les tâches de vision et l'apprentissage profond dans une large gamme d'applications !
