- Propulsé par NVIDIA Jetson Nano et basé sur le système d'exploitation du robot (ROS)
- Algorithme de cinématique inverse amélioré pour des performances améliorées
- Capable d'apprentissage en profondeur et de formation de modèles
- Deux versions du kit standard JexHexa sont disponibles ; le kit standard est équipé d'une caméra HD monoculaire, tandis que le kit avancé est chargé d'un Lidar et d'une caméra de profondeur
- Remarque : les fonctions de cartographie et de navigation ne s'appliquent qu'au kit avancé JexHexa
Le kit robot hexapode Hiwonder Jethexa ROS avec caméra HD Jetson Nano et monoculaire (kit standard) a adopté un nouvel algorithme de cinématique inverse, prenant en charge à la fois les allures de trépied et d'ondulation, et avec une posture, une hauteur et une vitesse hautement configurables, il apportera aux utilisateurs un expérience ultime.
Jethexa sert non seulement de plate-forme avancée permettant aux utilisateurs d'apprendre et de vérifier le mouvement des hexapodes, mais fournit également des solutions pour le développement de ROS. Pour aider les utilisateurs à se lancer dans un nouveau voyage dans le monde robotique hexapode ROS, de nombreux supports et didacticiels d'apprentissage de ROS et de robots sont fournis.
1. Système de contrôle Jetson Nano
NVIDIA Jetson Nano est capable d'exécuter des frameworks d'apprentissage en profondeur courants, tels que TensorFlow, PyTorch, Caffe/ Caffe2, Keras, MXNet, et fournit une puissance de calcul puissante pour des projets d'IA massifs. Propulsé par Jetson Nano, Jethexa peut réaliser la reconnaissance d'images, la détection et le positionnement d'objets, l'estimation de pose, la segmentation sémantique et d'autres fonctions tout-puissantes.
2. Caméra monoculaire (avec inclinaison panoramique 2DOF)
La caméra monoculaire peut pivoter vers le haut, le bas, la droite et la gauche, ainsi que réaliser le suivi des couleurs, la conduite autonome, etc.
3. Caméra de profondeur 3D
La caméra de profondeur peut traiter les données de carte de profondeur et réaliser une navigation par cartographie de vision 3D.
4. Faits saillants du ROS
1) Cartographie Lidar 2D, navigation et évitement d'obstacles :
Jethexa est chargé avec EAI G4 Lidar haute performance qui prend en charge la cartographie avec divers algorithmes, notamment Cartographer, Hector, Karto et Gmapping, la planification de chemin, la navigation à point fixe ainsi que l'évitement d'obstacles dans la navigation.
2) Cartographie et navigation de vision 3D RTAB VSLAM :
Prenant en charge la cartographie couleur 3D de deux manières, la vision RTAB pure et la fusion de la vision et du Lidar, Jethexa est capable de naviguer et d'éviter les obstacles dans les cartes 3D et d'exécuter une relocalisation globale.
3) Navigation multipoint et évitement d'obstacles :
Lidar peut détecter l'environnement en temps réel et laisser Jethexa éviter les obstacles lors de la navigation multipoint.
4) Données d'image de profondeur, image de nuage de points :
Grâce à l'API correspondante, Jethexa peut obtenir une image de profondeur, une image couleur et une image de nuage de points de la caméra.
5) Suivi des cibles KCF :
Basé sur l'algorithme de filtrage KCF, le robot peut suivre la cible sélectionnée.
6) Reconnaissance d'obstacles par caméra de profondeur :
À l'aide d'une caméra de profondeur, il peut détecter l'obstacle devant et traverser l'obstacle.
7) Rôdage personnalisé :
Les utilisateurs peuvent personnaliser le chemin et ordonner au robot de rôder le long du chemin conçu.
8) Suivi Lidar :
En scannant l'objet en mouvement avant, Lidar rend le robot capable de suivre la cible.
9) Gardiennage Lidar :
Le lidar tient compte du rôle de gardiennage de l'environnement et de déclenchement de l'alarme lors de la détection d'un intrus.
10) Reconnaissance et suivi des couleurs :
Habile dans la reconnaissance et le suivi des couleurs, le robot peut être configuré pour exécuter différentes actions en fonction des couleurs.
11) Contrôle de groupe :
Un groupe de Jethexa peut être contrôlé par une seule poignée sans fil pour effectuer des actions de manière uniforme et simultanée.
12) Formation intelligente :
Un lot de robots peut être contrôlé pour patrouiller dans différentes formations.
13) Traversée du Canyon :
Lorsque Lidar scanne le canyon devant lui, le robot ajustera sa posture et sa direction pour le traverser.
14) Suivi de ligne automatique :
Le robot a la capacité de reconnaître la ligne dans la couleur désignée par l'utilisateur et de rôder en suivant la ligne.
15) Reconnaissance et suivi des balises :
Jethexa est expert dans la reconnaissance et le positionnement de quelques balises AR en même temps.
16) Détection de posture :
Le capteur IMU intégré peut détecter la posture du corps en temps réel.
5. Algorithme cinématique inverse amélioré (Tripod Gait/Ripple Gait):
Changement de marche en un clic :
Jethexa prend en charge la commutation entre la démarche de trépied et la démarche d'ondulation à volonté.
1) "Moonwalk" en vitesse et hauteur fixes :
Grâce à l'algorithme de cinématique inverse, Jethexa peut maintenir la stabilité pendant la cartographie SLAM et le moonwalk à une vitesse constante.
2) Réglage de l'angle de tangage et de l'angle de roulis :
La posture du corps, le centre de gravité, l'angle de tangage et l'angle de roulis hautement configurables permettent au robot hexapode de surmonter tous les types de terrains compliqués.
3) Réglage de la direction, de la vitesse, de la hauteur et de la foulée :
Jethexa peut effectuer des virages et changer de voie tout en se déplaçant, et prend en charge le réglage en continu de la vitesse linéaire, de la vitesse angulaire, de la position, de la hauteur et de la foulée.
4) Auto-équilibrage du corps :
Le capteur IMU intégré est chargé de détecter la posture du corps en temps réel afin de permettre au robot d'ajuster ses articulations pour équilibrer le corps.
6. Apprentissage en profondeur et formation de modèles pour la créativité de l'IA
Adoptant GoogLeNet, Yolo, mtcnn et d'autres réseaux de neurones, Jethexa maîtrise le deep learning pour former des modèles. En chargeant divers modèles, il peut reconnaître rapidement des cibles afin de mettre en œuvre des projets d'IA complexes, notamment le tri des déchets, l'identification des masques, la reconnaissance des émotions, etc.
1) Identification du masque :
Avec une forte puissance de calcul, la fonction AI de Jethexas peut être étendue grâce à l'apprentissage en profondeur.
2) Tri des déchets :
Reconnaître rapidement les différentes fiches de déchets et les placer dans la zone correspondante en fonction de la catégorie.
3) Reconnaissance des émotions :
Jethexa est capable de reconnaître avec précision les traits du visage pour saisir chaque nuance d'expression.
6. Développement MediaPipe, interaction IA améliorée
Basé sur le framework MediaPipe, Jethexa peut effectuer le suivi du corps humain, la détection des mains, la détection de la posture, la détection globale, la détection des visages, la détection 3D et plus encore.
1) Contrôle de la trajectoire du bout des doigts
2) Contrôle de la posture humaine
3) Reconnaissance des gestes
4) Détection de visage 3D
7. Simulation de belvédère
Jethexa utilise le framework ROS et prend en charge la simulation Gazebo. Gazebo apporte une nouvelle approche permettant aux utilisateurs de contrôler Jethexa et de vérifier l'algorithme dans un environnement simulé, ce qui réduit les exigences expérimentales et améliore l'efficacité.
1) Simulation de contrôle corporel :
Vérifiez l'algorithme cinématique dans la simulation afin d'éviter les dommages au robot dus à l'erreur d'algorithme.
2) Données visuelles :
Des données visuelles sont fournies pour l'observation de l'extrémité du robot et de la trajectoire du centre de gravité afin d'optimiser l'algorithme.
8. Diverses méthodes de contrôle
1) Application WonderAi
2) Application Map Nav (Android uniquement)
3) Logiciel PC
4) Poignée sans fil.
