- Propulsé par NVIDIA Jetson Nano et basé sur ROS
- Prise en charge de la caméra de profondeur et du Lidar pour la cartographie et la navigation
- Algorithme de cinématique inverse amélioré
- Capable d'apprentissage en profondeur et de formation de modèles
- Remarque : il s'agit du kit avancé JetHexa et deux versions sont disponibles. Le kit standard JetHexa est équipé d'une caméra HD monoculaire, tandis que le kit avancé JetHexa est équipé d'un Lidar et d'une caméra de profondeur.
Lien vers le tutoriel pour JetHexa : https://drive.google.com/drive/folders/1YY5vy4sfUiNDoEkvPir-d634UZdzCQuT?usp=sharing
Rappel : les fonctions de cartographie et de navigation ne sont applicables qu'au kit avancé JetHexa.
Ce lien concerne le kit avancé JetHexa : https://www.robotshop.com/en/hiwonder-jethexa-ros-hexapod-robot-kit-powered-by-jetson-nano-with-lidar-depth-camera-support- slam-mapping-navigation-advanced-kit.html
JetHexa est un robot hexapode open source basé sur Robot Operating System (ROS). Il est armé d'un matériel haute performance, tel que NVIDIA Jetson Nano, de servos de bus série intelligents, d'une caméra Lidar et HD/caméra de profondeur 3D, qui peut mettre en œuvre le contrôle du mouvement du robot, la cartographie et la navigation, le suivi et l'évitement des obstacles, la rôdage personnalisé, la fonction humaine reconnaissance, interaction somatosensorielle et autres fonctions.
Adopté un nouvel algorithme de cinématique inverse, prenant en charge les allures de trépied et d'ondulation et avec une posture corporelle, une hauteur et une vitesse hautement configurables, JetHexa apportera à l'utilisateur une expérience d'utilisation ultime.
JetHexa sert non seulement de plate-forme avancée permettant à l'utilisateur d'apprendre et de vérifier le mouvement des hexapodes, mais fournit également des solutions pour le développement ROS. Pour aider l'utilisateur à se lancer dans un nouveau voyage dans le monde robotique des hexapodes ROS, de nombreux supports et didacticiels d'apprentissage de ROS et de robots sont fournis.
1. Système de contrôle Jetson Nano
NVIDIA Jetson Nano est capable d'exécuter des frameworks d'apprentissage en profondeur courants, tels que TensorFlow, PyTorch, Caffe/ Caffe2, Keras, MXNet, et fournit une puissance de calcul puissante pour des projets d'IA massifs. Propulsé par Jetson Nano, JetHexa peut réaliser la reconnaissance d'image, la détection et le positionnement d'objets, l'estimation de pose, la segmentation sémantique, l'analyse intelligente et d'autres fonctions tout-puissantes.
2. Caméra monoculaire (avec inclinaison panoramique 2DOF)
La caméra monoculaire peut pivoter vers le haut, le bas, la droite et la gauche, ainsi que réaliser le suivi des couleurs, la conduite autonome, etc.
3. Caméra de profondeur 3D
La caméra de profondeur peut traiter les données de carte de profondeur et réaliser une navigation par cartographie de vision 3D.
4. Faits saillants du ROS
1) Cartographie Lidar 2D, navigation et évitement d'obstacles :
JetHexa est doté d'un Lidar EAI G4 hautes performances qui prend en charge la cartographie avec divers algorithmes, notamment Cartographer, Hector, Karto et Gmapping, la planification de trajectoire, la navigation à point fixe ainsi que l'évitement d'obstacles dans la navigation.
2) Cartographie et navigation de vision 3D RTAB-VSLAM :
Prenant en charge la cartographie couleur 3D de deux manières, la vision RTAB pure et la fusion de la vision et du Lidar, JetHexa est capable de naviguer et d'éviter les obstacles sur la carte 3D et d'exécuter une relocalisation globale.
3) Navigation multipoint et évitement d'obstacles :
Lidar peut détecter l'environnement en temps réel et laisser JetHexa éviter les obstacles lors de la navigation multi-points.
4) Données d'image de profondeur, image de nuage de points :
Grâce à l'API correspondante, JetHexa peut obtenir une image de profondeur, une image couleur et une image de nuage de points de la caméra.
5) Suivi des cibles KCF :
Basé sur l'algorithme de filtrage KCF, le robot peut suivre la cible sélectionnée.
6) Reconnaissance d'obstacles par caméra de profondeur :
À l'aide d'une caméra de profondeur, il peut détecter l'obstacle devant et traverser l'obstacle.
7) Rôdage personnalisé :
L'utilisateur peut personnaliser le chemin et ordonner au robot de rôder le long du chemin conçu.
8) Suivi Lidar :
En scannant l'objet en mouvement avant, Lidar rend le robot capable de suivre la cible.
9) Gardiennage Lidar :
Lidar tient compte du rôle de la protection de l'environnement et de la sonnerie d'alarme lors de la détection d'un intrus.
10) Reconnaissance et suivi des couleurs :
Habile dans la reconnaissance et le suivi des couleurs, le robot peut être configuré pour exécuter différentes actions en fonction des couleurs.
11) Contrôle de groupe :
Un groupe de JetHexa peut être contrôlé par une seule poignée sans fil pour effectuer des actions de manière uniforme et simultanée.
12) Formation intelligente :
Un lot de robots peut être contrôlé pour patrouiller dans différentes formations.
13) Traversée du Canyon :
Lorsque Lidar scanne le canyon devant lui, le robot ajustera sa posture et sa direction pour le traverser.
14) Suivi de ligne automatique :
Le robot a la capacité de reconnaître la ligne en couleur désignée par l'utilisateur et de rôder en suivant la ligne.
15) Reconnaissance et suivi des balises :
JetHexat est expert dans la reconnaissance et le positionnement de quelques balises AR en même temps.
16) Détection de posture :
Le capteur IMU intégré peut détecter la posture du corps en temps réel.
5. Algorithme cinématique inverse amélioré (Tripod Gait/Ripple Gait):
Changement de marche en un clic :
JetHexa prend en charge la commutation entre la démarche tripode et la démarche ondulante à volonté.
1) "Moonwalk" en vitesse et hauteur fixes :
Grâce à l'algorithme de cinématique inverse, JetHexa peut rester stable pendant la cartographie SLAM et marcher sur la lune à une vitesse constante.
2) Réglage de l'angle de tangage et de l'angle de roulis :
La posture du corps, le centre de gravité, l'angle de tangage et l'angle de roulis hautement configurables permettent au robot hexapode de surmonter tous les types de terrains compliqués.
3) Réglage de la direction, de la vitesse, de la hauteur et de la foulée :
JetHexa peut faire tourner et changer de voie en mouvement et prendre en charge le réglage en continu de la vitesse linéaire, de la vitesse angulaire, de la position, de la hauteur et de la foulée.
4) Auto-équilibrage du corps :
Le capteur IMU intégré est chargé de détecter la posture du corps en temps réel afin de permettre au robot d'ajuster ses articulations pour équilibrer le corps.
6. Apprentissage en profondeur et formation de modèles pour la créativité de l'IA
Adoptant GoogLeNet, Yolo, mtcnn et d'autres réseaux de neurones, JetHexa maîtrise l'apprentissage en profondeur pour former des modèles. Grâce au chargement de différents modèles, il peut reconnaître rapidement les cibles afin de mettre en œuvre des projets d'IA complexes, notamment le tri des déchets, l'identification des masques, la reconnaissance des émotions, etc.
1) Identification du masque :
Avec une forte puissance de calcul, la fonction d'IA de JetHexa peut être étendue grâce à l'apprentissage en profondeur.
2) Tri des déchets :
Reconnaître rapidement les différentes fiches de déchets et les placer dans la zone correspondante en fonction de la catégorie.
3) Reconnaissance des émotions :
JetHexa est capable de reconnaître avec précision les traits du visage pour saisir chaque nuance d'expression.
6. Développement MediaPipe, interaction IA améliorée
Basé sur le framework MediaPipe, JetHexa peut effectuer le suivi du corps humain, la détection des mains, la détection de la posture, la détection globale, la détection des visages, la détection 3D et plus encore.
1) Contrôle de la trajectoire du bout des doigts
2) Contrôle de la posture humaine
3) Reconnaissance des gestes
4) Détection de visage 3D
7. Simulation de belvédère
JetHexa utilise le framework ROS et prend en charge la simulation Gazebo. Gazebo vous offre une nouvelle approche pour contrôler JetHexa et vérifier l'algorithme dans un environnement simulé, ce qui réduit les exigences expérimentales et améliore l'efficacité.
1) Simulation de contrôle corporel :
Vérifiez l'algorithme cinématique dans la simulation afin d'éviter les dommages au robot dus à l'erreur d'algorithme.
2) Données visuelles :
Des données visuelles sont fournies pour l'observation de l'extrémité du robot et de la trajectoire du centre de gravité afin d'optimiser l'algorithme.
8. Diverses méthodes de contrôle：
1) Application WonderAi
2) Application Map Nav (Android uniquement)
3) Logiciel PC
4) Poignée sans fil
-Diverses méthodes de contrôle：
-Application WonderAi
-Application Map Nav (Android uniquement)
-Logiciel PC
-Poignée sans fil
