Hiwonder JetArm JETSON NANO Bras Robotique ROS Open Source Vision Reconnaissance Progr. Robot (Kit de Démarrage avec Jetson Nano 4GB)

• Développé pour l'éducation ROS, prend en charge Python et l'apprentissage profond avec MediaPipe pour des projets IA comme la reconnaissance d'objets et l'interaction vocale
• Avec un design 6DOF et des servos de couple de 35KG, JetArm inclut une caméra HD pour la préhension d'objets en première personne
• Équipé d'une caméra de profondeur 3D, JetArm utilise la fusion RGB+D pour une préhension flexible 3D et des applications IA
• Le kit ultime JetArm dispose d'une matrice de microphones et d'un haut-parleur pour des tâches contrôlées par la voix, y compris la navigation et la préhension
• Fournit plusieurs méthodes de contrôle, comme l'application WonderAi (compatible avec les systèmes iOS et Android), la manette sans fil, le Système d'Exploitation Robotique (ROS) et le clavier

Description du Produit

JetArm est un bras robotique de vision IA de niveau bureau développé par Hiwonder pour les scénarios éducatifs ROS. Il est équipé d'une caméra de profondeur 3D, combine la technologie de vision 3D avec le contrôle du bras robotique, et est équipé de servos de bus intelligents à couple élevé, d'un contrôle principal NVIDIA Jetson Nano, de matériel haute performance tel qu'un écran tactile de 7 pouces, une matrice de microphones à champ lointain et des haut-parleurs qui peuvent non seulement réaliser le contrôle de mouvement tridimensionnel du robot, mais aussi identifier, suivre et saisir des objets cibles dans l'espace tridimensionnel.

1) Vision de Profondeur, Préhension Flexible de Scène 3D

L'extrémité du bras robotique JetArm est équipée d'une caméra de profondeur 3D haute performance, qui peut réaliser la reconnaissance, le suivi et la préhension des cibles. Grâce à la détection par fusion RGB+D, JetArm peut également réaliser une préhension flexible dans une scène 3D.

2) Structure Tout Métal, Base à Roulements

Le corps du bras robotique adopte une structure tout métal, et la surface est anodisée, la rendant exquise et belle. La base utilise des roulements de qualité industrielle pour répondre aux projets de préhension à forte demande.

3) Conception de Structure Enveloppée, Câblage Esthétique

JetArm adopte une conception de structure enveloppée, et le câblage du servo peut être caché à l'intérieur du fuselage, rendant l'extérieur du fuselage propre et ordonné.

4) Matrice de Microphones Circulaire

La matrice de microphones circulaire est divisée en une matrice de microphones et une carte mère de module. Elle a des performances globales plus fortes et une portée de captation sonore allant jusqu'à 10m.

1. Vision de Profondeur 3D Al Interaction Améliorée

Équipé d'une caméra de profondeur 3D Gemini plus, JetArm peut percevoir efficacement les changements environnementaux, permettant une interaction Al intelligente avec les humains.

1) Reconnaissance de Nuage de Points de Profondeur 3D

Grâce à l'API correspondante de la caméra de profondeur, JetArm peut obtenir la carte de profondeur, la carte de couleur et la carte de nuage de points de l'environnement de détection, puis obtenir les données RGB, les coordonnées de position et les informations de profondeur de l'objet cible pour réaliser la reconnaissance de forme, le tri des couleurs, la mesure de hauteur, la détection de matériaux, etc.

2) Mesure de Distance de la Caméra de Profondeur

En capturant les données de nuage de points de profondeur d'un objet, la caméra de profondeur peut déterminer la distance entre l'objet et la caméra. Cela permet une localisation précise des objets, leur tri et leur suivi.

3) Mesure de Hauteur de Cible Régionale

En obtenant les données de nuage de points de profondeur de l'objet, la hauteur de l'objet peut être identifiée, réalisant ainsi le jeu de suppression des objets anormalement hauts.

4) Mesure de Volume de Cible Régionale

En capturant les données de nuage de points de profondeur, la caméra de profondeur peut mesurer le volume d'un objet après avoir reconnu sa forme et sa hauteur.

2. Reconnaissance de Vision Al Suivi de Cible

La caméra de profondeur 3D de JetArm est équipée d'une lentille RGB. Le bras robotique utilise OpencV comme bibliothèque de traitement d'image, prend en charge la reconnaissance d'image intelligente Al, et peut réaliser une variété de jeux de vision intelligente tels que la reconnaissance de couleur et la reconnaissance d'étiquette.

1) Tri des Couleurs

JetArm peut reconnaître et trier les blocs de couleurs de différentes couleurs. En plus des couleurs standard, JetArm peut également reconnaître une variété de couleurs personnalisées.

2) Reconnaissance d'Étiquette, Empilage Intelligent

JetArm peut reconnaître différents AprilTags et déterminer la position du bloc d'étiquette pour réaliser un empilage intelligent.

3) Suivi de Cible

JetArm peut localiser et suivre des cibles, et nous pouvons également utiliser l'apprentissage automatique pour laisser JetArm suivre plus d'objets cibles entraînés.

3. Intégration RGB+D pour Préhension Aléatoire Spatiale 3D

La caméra de profondeur 3D de JetArm combine les données RGB et de profondeur pour capturer à la fois la couleur de l'objet et les informations de nuage de points de profondeur, améliorant la représentation spatiale. En utilisant l'algorithme de cinématique inverse, JetArm peut effectuer des tâches Al avancées telles que la préhension aléatoire d'objets spatiaux 3D, le tri et le transport, permettant des projets plus complexes et dynamiques.

1) Préhension Aléatoire Spatiale 3D RGB+D

2) Préhension et Tri Spatiaux 3D Contrôlés par la Voix

4. Algorithme de Cinématique Inverse Amélioré

JetArm dispose d'un algorithme de cinématique inverse de haut niveau, qui peut se déplacer vers n'importe quelle coordonnée dans une scène 3D, et la planification de trajectoire du bras robotique peut également être réalisée par programmation Python.

1) Détection de Cible, Ajustement Adaptatif des Articulations

JetArm peut détecter les objets cibles dans la zone de reconnaissance et calculer les coordonnées de position et l'angle de placement de l'objet cible. Combiné avec l'algorithme de cinématique inverse du bras robotique, chaque angle d'articulation est ajusté de manière adaptative pour réaliser une préhension libre.

2) Contrôle de Mouvement de Scène 3D

JetArm peut utiliser des algorithmes de cinématique inverse pour réaliser un mouvement linéaire et une planification de trajectoire dans une scène 3D.

3) Fournit le Code Source pour le Modèle DH et la Cinématique Inverse

Fournir l'analyse de cinématique inverse, le modèle de coordonnées DH et le code source de la fonction de cinématique inverse du bras robotique JetArm, et entrer les coordonnées finales du bras robotique raccourcit considérablement le temps de développement du projet.

5. Entraînement de Modèle d'Apprentissage Profond

JetArm utilise des réseaux neuronaux tels que GoogLeNet, Yolo et mtcnn, qui peuvent effectuer un apprentissage profond sur la cible pour générer un modèle entraîné.

1) Développement MediaPipe, Interaction Al Améliorée

JetArm utilise le cadre de développement MediaPipe pour accomplir diverses fonctions, telles que la reconnaissance du corps humain, la reconnaissance des bouts des doigts, la détection du visage et la détection 3D.

2) Contrôle de Trajectoire des Bouts des Doigts

Basé sur la détection de la distance entre les bouts des doigts, JetArm peut effectuer des actions correspondantes.

3) Tri des Déchets

Le kit de JetArm est équipé de blocs de motifs de déchets. En chargeant le modèle correspondant, JetArm peut rapidement reconnaître différents déchets et les placer dans la zone de classification correspondante.

4) Tri des Objets

En entraînant des modèles d'objets quotidiens et en générant des modèles correspondants, avec le soutien de la caméra de profondeur, JetArm peut rapidement reconnaître et saisir les objets correspondants en obtenant les informations de profondeur des objets.

5. Simulation Gazebo

Le bras robotique JetArm est développé en utilisant le cadre ROS et prend en charge la simulation GAZEBO. Le bras robotique est contrôlé et l'algorithme vérifié dans un environnement virtuel, ce qui réduit les exigences pour l'environnement expérimental et améliore l'efficacité expérimentale.

6. Diverses Méthodes de Contrôle

1) Application WonderAi

2) Logiciel PC

3) Manette sans fil

7. Guide de Sélection de Configuration JetArm

Le Jetson Nano fournit des capacités essentielles d'inférence IA, parfait pour les réseaux neuronaux simples et les modèles d'apprentissage profond, le rendant idéal pour les applications IA de niveau débutant. Le Jetson Orin Nano offre 80 fois la performance et la puissance de calcul du Jetson Nano, prenant en charge des modèles d'apprentissage profond plus complexes et une inférence accélérée, le rendant bien adapté pour les applications IA avancées en périphérie. Le Jetson Orin NX augmente la puissance de calcul de 2,5 fois par rapport au Jetson Orin Nano, offrant des performances d'inférence IA de premier ordre pour les réseaux neuronaux plus grands et les tâches d'apprentissage profond en temps réel. Cette mise à niveau des performances améliore JetArm, débloquant des capacités exceptionnelles dans le contrôle des servos, les tâches de vision et l'apprentissage profond dans une large gamme d'applications !