ROSpider ROS2 Hexapod Robot avec Jetson/Raspberry Pi, Modèles d'IA Multimodaux, ChatGPT, Vision 3D, Cartographie SLAM et Navigation (kit ultime sans contrôleur)

• 【ROS2 et Matériel Haute Performance】Construit sur ROS2 et compatible avec Jetson & Raspberry Pi 5, ROSpider dispose de servos de bus haute tension et d'algorithmes de démarche avancés, offrant une mo
• 【Grands Modèles d'IA et Navigation SLAM】ROSpider intègre de Grands Modèles de Langage, de Voix, et de Vision avec un support pour le déploiement en ligne et local. Combiné avec LiDAR TOF, il permet u
• 【Vision 3D et Bras Robotique 6DOF】Équipé d'une caméra de profondeur 3D et d'un bras robotique 6DOF, ROSpider permet des tâches d'IA de haut niveau dans l'espace 3D, telles que le suivi, la saisie, le
• 【Cadre Algorithmique Intégré et Efficace】Incorpore divers algorithmes et outils, y compris YOLO26, OpenCV, MoveIt2, et MediaPipe, offrant un environnement hautement configurable et évolutif pour les
• 【Tutoriels Complets et Ressources de Développement】Livré avec des cours étendus, des tutoriels de code, et des manuels. Couvrant le parcours d'apprentissage complet des bases aux sujets avancés, il v

Description du Produit:

ROSpider est une plateforme hexapode ROS tout-terrain avec une structure bio-mimétique. Son châssis intègre dix-huit servos de bus haute tension de 35KG, assurant une flexibilité et une adaptabilité exceptionnelles. Propulsé par des algorithmes de démarche bio-cinématique avancés, il effectue des combinaisons de démarches dynamiques et des ajustements de posture pour naviguer dans des espaces étroits et éviter les obstacles avec aisance.

Propulsé par Jetson/Raspberry Pi, ROSpider est équipé de LiDAR, d'une caméra de profondeur 3D, d'un réseau de 6 microphones, d'un bras robotique 6DOF, et d'un affichage OLED. Cette suite de hardware permet le contrôle du mouvement, la cartographie et navigation SLAM, la planification de trajectoire, l'évitement d'obstacles, la saisie 3D, le transport autonome, la détection de mouvement, l'interaction vocale, et la localisation de source sonore.

ROSpider intègre de grands modèles d'IA pour la vision, la voix, et le texte, lui permettant de percevoir son environnement, de planifier des actions, et d'exécuter des tâches de manière flexible. Que ce soit via des API en ligne ou un déploiement local, le système combine les données de LiDAR, de la caméra, et des microphones pour débloquer des tâches avancées d'IA Embodied, y compris la compréhension sémantique, la perception des émotions, l'interaction vocale naturelle, la compréhension de scène, le suivi de cible, et la navigation pilotée par l'IA.

① Applications d'IA Embodied

Renforcé par un hardware haute performance et des capteurs multi-dimensionnels combinés à de grands modèles multimodaux, ROSpider atteint un niveau supérieur de collaboration homme-robot et d'exécution intelligente des tâches.

② Déploie de Grands Modèles d'IA

En intégrant des modèles d'IA pour la vision, la voix, et le texte, ROSpider perçoit intelligemment son environnement, planifie des actions, et exécute des tâches. Cela débloque des applications avancées d'IA Embodied, y compris la perception des émotions, la compréhension de scène, le suivi de cible, et la navigation pilotée par l'IA.

③ Vision 3D et Bras Robotique 6DOF

En fusionnant les données RGB et de profondeur en temps réel, ROSpider perçoit avec précision les détails de couleur et de nuage de points. Associé à la cinématique inverse, il permet des tâches 3D complexes comme le suivi arbitraire, la saisie, le tri, et le transport.

④ Perception Précise LiDAR

Équipé de LiDAR TOF, d'encodeurs, et d'IMU, ROSpider réalise une cartographie SLAM précise et une navigation autonome. Il détecte les obstacles dynamiques en temps réel pour optimiser la planification de trajectoire, assurant une haute efficacité dans des environnements complexes.

1. Applications Créatives de Modèles d'IA Multimodaux

1) Compréhension de Scène

En s'appuyant sur le grand modèle de vision, ROSpider analyse les scènes dans son champ de vision. Basé sur sa base de données, il évalue les conditions d'éclairage, les noms et attributs des objets, fournissant un retour via texte ou voix.

2) Suivi Visuel d'Objets

En s'appuyant sur les puissantes capacités analytiques du grand modèle de vision, ROSpider identifie automatiquement et verrouille les objets cibles dans des environnements complexes pour exécuter un suivi en temps réel.

3) Contrôle Vocal

Propulsé par la compréhension sémantique du grand modèle de parole, ROSpider interprète avec précision les commandes vocales et exécute les actions correspondantes, offrant un contrôle vocal naturel et fluide.

4) Reconnaissance et Saisie Autonomes

En s'appuyant sur les puissantes capacités analytiques du grand modèle de vision, ROSpider identifie automatiquement et verrouille les objets cibles dans des environnements complexes, permettant un suivi et une saisie en temps réel.

5) Grands Modèles d'IA + Navigation SLAM et Transport

ROSpider prend en charge l'interaction par commande vocale, utilisant la technologie SLAM pour planifier des trajectoires de manière adaptative et naviguer vers des zones désignées. Combiné au grand modèle de vision, il identifie et suit les objets dans son champ de vision en temps réel, exécutant des tâches de saisie et de transport précises via un contrôle PID de haute précision.

2. Applications d'IA Multi-Scénarios

Propulsé par des algorithmes de démarche cinématique inverse, ROSpider navigue de manière stable à travers des terrains complexes tels que les décombres et les passages étroits. En fusionnant la navigation SLAM avec la perception visuelle de l'IA et un bras robotique 6DOF de haute précision, il permet une identification rapide, une saisie, et un transport d'objets.

1) Cartographie et Navigation SLAM

ROSpider utilise LiDAR pour scanner son environnement en temps réel, construisant des cartes de haute précision. En intégrant la technologie de localisation en temps réel, il atteint une navigation autonome et une planification de trajectoire au niveau centimétrique.

2) Navigation dans des Passages Étroits

Grâce à son design bio-mimétique compact et à ses ajustements agiles de démarche, ROSpider change de démarche et de posture corporelle de manière autonome pour naviguer sans effort dans des passages étroits et des espaces structurels.

3) Traversée de Ponts

ROSpider perçoit son attitude corporelle en temps réel. Il corrige dynamiquement sa démarche pour s'adapter à un centre de gravité changeant, assurant une traversée stable des ponts et autres structures instables.

4) Saisie Autonome

ROSpider perçoit les objets dans son champ de vision en temps réel. Grâce à une coordination main-œil précise, il exécute sans effort des tâches de saisie de haute difficulté, même dans des environnements structurels complexes.

5) Transport Intelligent

S'appuyant sur la vision IA et un système de capteurs multimodaux, ROSpider transporte et place les objets de manière stable et précise, assurant l'achèvement sûr et efficace de tâches de haute difficulté.

6) Traversée de Terrain Effondré

Face à un terrain effondré, ROSpider utilise des algorithmes cinématiques inverses avancés pour assurer un placement précis des pieds, permettant une traversée efficace et stable des débris.

3. Détection Complète LiDAR

ROSpider est doté d'un LiDAR TOF de haute précision, fusionnant les données d'encodeur et d'IMU pour réaliser une cartographie précise et une navigation autonome. Il détecte les obstacles dynamiques en temps réel pour optimiser la planification de trajectoire.

1) Cartographie LiDAR slam_toolbox

2) Localisation Adaptive Monte Carlo (AMCL)

3) Planification de Trajectoire TEB et Évitement d'Obstacles Dynamiques

4) Odométrie LiDAR rf2o_laser_odometry

5) Fusion et Filtrage IMU-LiDAR

6) Planification de Trajectoire Locale DWB

7) Navigation à Point Unique

8) Navigation Multi-Points

9) Suivi LiDAR

10) Protection LiDAR

11) Évitement d'Obstacles LiDAR

12) Imagerie de Nuage de Points LiDAR

4. Reconnaissance Précise par Caméra de Profondeur 3D

La caméra de profondeur à lumière structurée 3D génère des cartes de profondeur et des données de nuage de points pour acquérir avec précision des informations de profondeur spatiale des objets cibles, permettant des mesures de distance et de volume de haute précision. Combinée aux données LiDAR, elle construit des cartes 3D couleur de haute précision, soutenant une perception environnementale supérieure et une navigation intelligente.

1) Données de Profondeur et Nuage de Points

2) Mesure de Distance par Caméra de Profondeur

3) Suivi de Ligne OpenCV

4) Suivi d'Objets KCF

5) Reconnaissance de Couleur OpenCV

6) Détection d'Objets YOLOv26

7) Visualisation 3D RTAB-Map

8) MediaPipe Bout des Doigts

9) Contrôle du Mouvement Corporel MediaPipe

10) Détection de Visage 3D MediaPipe

11) Cartographie et Navigation

12) Reconnaissance de Trajectoire

5. Vision 3D et Bras Robotique 6DOF

ROSpider fusionne les informations RGB et de profondeur pour percevoir les couleurs des objets et les données de nuage de points en temps réel. En intégrant des algorithmes de cinématique inverse, il exécute des tâches avancées d'IA telles que le suivi flexible, la saisie, le tri, et le transport dans un espace de travail 3D.

1) Saisie Spatiale 3D

2) Navigation et Transport

3) Classification des Déchets

4) Contrôle de Coordonnées Cinématique Inverse

6. Ramassage à Longue Portée et Localisation de Source Sonore

Équipé d'un réseau intégré de 6 microphones, ROSpider réalise une localisation de source sonore de haute précision et une suppression du bruit. Combiné avec LiDAR, il permet une convocation pratique du robot et prend en charge le dialogue en ligne, créant une interaction fluide et intelligente.

1) Interaction Vocale Naturelle

2) Navigation Vocale Intelligente

3) Saisie et Transport Intelligents

4) Localisation de Source Sonore à 360°

7. Planification de Démarche Cinématique Inverse

En utilisant des algorithmes de démarche cinématique inverse, ROSpider calcule les trajectoires de 18 articulations en temps réel, réalisant un positionnement des pieds au niveau centimétrique et un mouvement omnidirectionnel à 360°. Avec un IMU 6 axes intégré, il perçoit de manière autonome la posture et s'adapte dynamiquement à des terrains complexes, assurant l'équilibre et la stabilité pendant le mouvement.

1) Changement de Démarche Efficace

ROSpider dispose de démarches en trépied et en onde intégrées basées sur la cinématique inverse. Le changement libre entre ces démarches assure une adaptabilité tout-terrain supérieure.

2) Mouvement Omnidirectionnel Flexible

ROSpider prend en charge un contrôle omnidirectionnel à 360°, permettant une translation dans n'importe quelle direction avec des ajustements de posture coordonnés pour changer agilement de modes de mouvement.

3) Ajustement d'Attitude Illimité

ROSpider peut ajuster des paramètres multi-dimensionnels, y compris le cap, le tangage, et le roulis pendant le mouvement pour s'adapter à divers scénarios.

4) Contrôle Dynamique de la Hauteur et de l'Équilibre

Changez librement la hauteur du corps et le centre de gravité avec une inclinaison vers l'avant ou l'arrière. L'ajustement dynamique des paramètres permet au robot de gérer des tâches polyvalentes avec aisance.

5) Mouvement Combiné et Poses Adaptatives

ROSpider prend en charge l'ajustement synchronisé du centre de gravité et des angles de posture multi-dimensionnels pendant le mouvement, réalisant facilement une planification et un changement de posture à haut degré de liberté.

6) Détection de Posture et Auto-Équilibrage

Intégré avec un IMU de haute précision, ROSpider détecte la posture corporelle en temps réel. En utilisant une rétroaction en boucle fermée, il ajuste de manière autonome les angles des articulations de ses six jambes pour maintenir l'équilibre dans des environnements complexes.

8. Cinématique Inverse et Coordination Main-Œil

ROSpider dispose des algorithmes de cinématique inverse avancés de Hiwonder. Dans l'espace de travail 3D accessible, l'effecteur final du bras peut se déplacer vers n'importe quelle coordonnée. La programmation Python permet en outre la planification de trajectoire du bras robotique.

1) Détection d'Objets et Ajustement Adaptatif des Articulations

ROSpider détecte les objets dans la zone de reconnaissance, calculant leurs coordonnées et angle. Combiné avec des algorithmes de cinématique inverse, il ajuste de manière adaptative les angles des articulations pour réaliser une saisie libre.

* La plupart des options du marché se limitent à la saisie en point fixe, manquant de détection de zone et de saisie libre.

2) Contrôle du Mouvement Spatial 3D

En utilisant des algorithmes de cinématique inverse, ROSpider réalise un mouvement linéaire et une planification de trajectoire dans l'espace 3D, élevant les dimensions du mouvement à un nouveau niveau. Cela vous aide à comprendre les principes d'interpolation du contrôle du mouvement du bras robotique et à maîtriser l'essence de la cinématique inverse.

9. Simulation Gazebo

Construit sur le cadre ROS, ROSpider prend en charge la simulation Gazebo. Cela permet le contrôle du robot hexapode et la vérification des algorithmes dans un environnement virtuel, réduisant les besoins en tests physiques et améliorant l'efficacité expérimentale.

Visualisation des Données - Visualisez les trajectoires de mouvement de l'effecteur final du robot et du centre de gravité pour améliorer et optimiser rapidement les algorithmes.

10. Cinématique Movelt2

ROSpider prend en charge la simulation Movelt2, permettant le contrôle du bras robotique et la vérification des algorithmes dans un environnement virtuel. Cela réduit la dépendance aux environnements physiques et accélère le développement de projets.

1) Modèle de Simulation Cinématique URDF

Une réplique réaliste 1:1 du robot physique. L'interface visuelle Movelt2 prend en charge le contrôle par glisser-déposer, le positionnement prédéfini, et l'évitement d'obstacles du bras robotique.

2) Contrôle de Simulation Movelt2 et Planification de Mouvement

Contrôlez les mouvements du bras robotique en temps réel via l'interface de simulation visuelle, exécutant des actions cohérentes avec le modèle.

3) Détection de Collision

Créez des obstacles dans l'interface de simulation, et le bras robotique les évitera de manière autonome pendant le mouvement.

11. Contrôle Interconnecté Multi-Plateforme

1) Contrôle par Application

Utilisez l'application pour visualiser le flux vidéo en première personne et contrôler ROSpider pour saisir et transporter des objets cibles spécifiques. Changez librement les fonctions prédéfinies pour expérimenter rapidement le plaisir du robot!

2) Contrôle par Logiciel PC Graphique

Contrôlez le mouvement et exécutez des programmes en temps réel via le logiciel PC graphique. Le logiciel PC inclus vous permet de chorégraphier les actions de ROSpider sans aucune compétence en programmation.

3) Contrôle par Contrôleur Sans Fil

Contrôlez ROSpider à distance avec un contrôleur sans fil PS2, et programmez le robot pour exécuter des actions de rétroaction spécifiques.