Hiwonder ROS2 Smart Car, ROSOrin Multimodal AI Vision Large Model, SLAM Navigation Programming, Mecanum Wheels Robot (Kit Avancé sans Contrôleur)

• 【ROS2 & Matériel Haute Performance】ROSOrin fonctionne sur ROS2, compatible avec Jetson et Raspberry Pi. Il dispose de LiDAR, d'une caméra 3D et d'un ensemble de six microphones pour des tâches telles
• 【Grand Modèle AI Multimodal】ROSOrin intègre un modèle AI basé sur ChatGPT pour des applications AI incarnées avancées, telles que la perception de l'environnement, la planification de tâches et la co
• 【Expansion de Châssis Polyvalente】Passe entre les châssis Mecanum, Ackermann et à entraînement différentiel, associé à un système de suspension à bras oscillant pour un mouvement stable et un contrôl
• 【Algorithmes de Vision AI】 Équipé des algorithmes YOLOv11, OpenCV, MediaPipe et KCF, ROSOrin offre une perception visuelle puissante pour des applications avancées telles que la conduite autonome, la
• 【Ressources d'Apprentissage】 Inclut des tutoriels complets, du code source et des exemples de projets AI du débutant à l'avancé, tout ce qui est nécessaire pour passer de la première construction à d

Description du Produit

Hiwonder ROSOrin est un robot AI multimodal développé sur ROS2. Il présente un design de châssis modulaire permettant un changement rapide entre les châssis Mecanum, Ackermann et à entraînement différentiel, permettant une adaptation flexible à divers scénarios. Le robot ROSOrin est équipé de matériel haute performance incluant NVIDIA Jetson, Raspberry Pi 5, LiDAR, caméra de profondeur 3D, et un ensemble de 6 microphones intégrés. Il prend facilement en charge le contrôle du mouvement, la cartographie et la navigation, la planification de trajectoire, la perception 3D, le suivi et l'évitement d'obstacles, la reconnaissance d'objets, le suivi de cibles, l'interaction gestuelle et l'interaction vocale. ROSOrin déploie un grand modèle AI multimodal qui combine la vision AI et la détection LiDAR pour comprendre les environnements, planifier des actions et exécuter des tâches de manière autonome. Il permet des applications avancées d'intelligence incarnée et est une plateforme idéale pour apprendre le développement ROS et la robotique AI.

1) Interaction Vocale AI

Hiwonder ROSOrin perçoit les émotions et répond à votre voix avec des retours et des actions grâce à l'intelligence incarnée, rendant les interactions naturelles et amicales.

2) Intégration AI Multimodale

ROSOrin combine une AI avancée pour le texte, la voix et la vision, offrant une cognition puissante pour des conversations naturelles et une compréhension visuelle intelligente.

3) Vision AI & Suivi

Avec des algorithmes de vision OpenCV intégrés, ROSOrin peut rapidement identifier les couleurs et les objets, calculer leurs positions en temps réel et les suivre avec précision.

4) Algorithmes de Vision AI Intégrés

Avec YOLOv11, MediaPipe et OpenCV, ROSOrin gère la détection d'objets, la reconnaissance faciale et le contrôle gestuel sans configuration complexe requise.

5) Caméra de Profondeur 3D

La caméra de profondeur 3D peut non seulement réaliser un jeu visuel AI, mais aussi permettre un gameplay avancé tel que le traitement des données d'image de profondeur et la navigation cartographique visuelle 3D.

6) Lidar MS200 TOF

ROSOrin est équipé d'un Lidar, qui peut réaliser la cartographie et la navigation SLAM, et prend en charge la planification de trajectoire, la navigation à point fixe et l'évitement dynamique d'obstacles.

7) Système de Contrôle Jetson

Jetson vous permet d'exécuter plusieurs réseaux neuronaux, applications de détection d'objets, de segmentation et de traitement de la parole en parallèle.

8) Ensemble de Microphones à Champ Lointain 6-Ch

L'ensemble de microphones à champ lointain 6-Ch et les haut-parleurs prennent en charge la localisation de la source sonore, le contrôle de la reconnaissance vocale, la navigation vocale et d'autres fonctions.

1. Pourquoi Choisir ROSOrin? - Un robot éducatif AI professionnel conçu pour les développeurs ROS.

1) Châssis Polyvalent 3-en-1

Doté d'un châssis modulaire intégré, ROSOrin prend en charge le changement rapide entre les châssis Mecanum, Ackermann et à entraînement différentiel. Il permet des transitions fluides à travers différents scénarios, assure un mouvement stable et efficace, et répond pleinement aux besoins d'apprentissage et de validation de la robotique multimodale.

2) Grand Modèle AI Multimodal

ROSorin déploie un modèle AI multimodal combinant langage, voix et vision. Intégré avec la vision AI et le LiDAR, il permet à Rosorin de mieux percevoir son environnement et de comprendre les commandes, débloquant une intelligence incarnée avancée et des applications créatives.

3) Projets de Développement ROS Étendus

ROSorin offre plusieurs options de contrôleur et prend en charge la cartographie LiDAR, la navigation et la planification de trajectoire. Il intègre des algorithmes visuels tels que YOLOv11, Mediapipe, KCF et OpenCV, permettant une variété de projets de reconnaissance visuelle AI, d'interaction visuelle et d'autres projets alimentés par AI.

4) Châssis Multimodal 3-en-1

ROSorin présente un design de châssis modulaire, prenant en charge le changement rapide entre les châssis Mecanum, Ackermann et à entraînement différentiel pour des transitions multimodales flexibles. Équipé d'un système de suspension à bras oscillant, il assure un fonctionnement stable et efficace sur des terrains complexes.

① Châssis à Roues Mecanum, Mouvement Omnidirectionnel à 360°

La Roue Mecanum est un type classique de roue omnidirectionnelle. En coordonnant la vitesse et la direction des roues individuelles, elle peut générer une poussée dans n'importe quelle direction, permettant au châssis d'atteindre un mouvement plan complet.

② Châssis Ackermann, Direction des Roues Avant

La structure de direction Ackermann est le design standard utilisé dans les châssis de véhicules modernes. Lors des virages, les roues avant dirigent à des angles différents pour s'adapter aux trajectoires des roues intérieures et extérieures. Son design précis le rend hautement adapté à l'apprentissage et à la recherche en robotique basée sur ROS.

③ Châssis Différentiel à Quatre Roues

Le châssis différentiel à quatre roues utilise une conduite indépendante pour les roues gauche et droite, contrôlant leur différence de vitesse pour avancer, reculer, tourner et pivoter sur place. Équipé de pneus en caoutchouc de haute qualité, il offre une forte adhérence et une durabilité longue durée.

2. Déploiement de Grand Modèle Multimodal

ROSOrin intègre un Grand Modèle AI Multimodal et prend en charge le déploiement en ligne via l'API d'OpenAI, permettant un accès en temps réel à des capacités AI avancées. Il permet également un changement fluide vers des modèles alternatifs, tels que ceux disponibles via OpenRouter, pour prendre en charge les applications de Modèle de Langage Visuel. Au cœur, ROSOrin est conçu comme un hub d'interaction tout-en-un construit autour de ChatGPT, permettant des cas d'utilisation AI incarnée sophistiqués et créant une expérience d'interaction homme-machine fluide et intuitive!

① Grand Modèle de Parole

Renforcé par un ensemble de 6 microphones, ROSOrin a maintenant des "oreilles" et une "voix", lui permettant d'entendre votre voix et de répondre en temps réel. Alimenté par un modèle de langage de parole en streaming de bout en bout avancé et un traitement du langage naturel, il offre une interaction vocale fluide et naturelle.

② Grand Modèle de Parole

Renforcé par un ensemble de 6 microphones, ROSOrin a maintenant des "oreilles" et une "voix", lui permettant d'entendre votre voix et de répondre en temps réel. Alimenté par un modèle de langage de parole en streaming de bout en bout avancé et un traitement du langage naturel, il offre une interaction vocale fluide et naturelle.

③ Modèle de Langage Visuel

ROSOrin s'intègre au modèle de langage visuel d'OpenRouter, permettant une compréhension et une analyse avancées des images. Il peut identifier et localiser avec précision des objets dans des scènes visuelles complexes, tout en fournissant des descriptions détaillées couvrant les noms d'objets, les caractéristiques et d'autres attributs pertinents.

3. Intégration de Grand Modèle AI avec Cartographie et Navigation Basées sur SLAM

ROSOrin combine un grand modèle multimodal pour comprendre les commandes vocales des utilisateurs via un grand modèle de langage, permettant une navigation multipoint. Une fois arrivé à l'emplacement désigné, il utilise un modèle de langage visuel pour acquérir une compréhension approfondie des objets et événements environnants. Cette approche améliore considérablement l'intelligence, l'adaptabilité et l'expérience utilisateur globale du robot, le rendant mieux adapté pour répondre aux besoins du monde réel.

1) Perception Environnementale

Alimenté par un modèle de langage visuel, le robot AI ROSOrin peut interpréter les objets dans son environnement et comprendre la disposition spatiale de l'environnement.

2) Compréhension Sémantique

Avec des capacités de compréhension sémantique, Hiwonder ROSOrin peut capturer avec précision les intentions clés dans le texte et la parole, analysant profondément le contexte, le sentiment et les exigences cachées.

3) Analyse d'Images

ROSOrin utilise un modèle AI visuel pour analyser en profondeur les images et les cadres en temps réel, extraire les caractéristiques des objets et les associer précisément à la base de données, permettant une localisation multi-objets et une association d'objets similaires.

4) Navigation Intelligente

ROSOrin envoie continuellement des données environnementales au modèle de langage visuel pour une analyse approfondie en temps réel. Il ajuste dynamiquement son chemin de navigation en fonction des commandes vocales de l'utilisateur, lui permettant de naviguer de manière autonome vers des zones désignées et de fournir un routage intelligent et adaptatif.

5) Gestion de Tâches Complexes

ROSOrin intègre la compréhension visuelle, la reconnaissance vocale et la planification de trajectoire SLAM pour décomposer des instructions complexes, percevoir l'environnement en temps réel et exécuter la reconnaissance, le suivi et d'autres opérations de manière transparente.

6) Perception des Émotions

En utilisant une base de connaissances RAG étendue, ROSOrin peut reconnaître l'intention et analyser le contexte environnemental, anticipant les besoins potentiels sans instructions détaillées, planifiant des tâches de manière autonome et répondant de manière dynamique.

4. Applications AI Incarnées Pilotées par Grand Modèle AI

Les Kits ROSOrin sont équipés d'un ensemble circulaire de 6 microphones. Allant au-delà du modèle de commande-réponse unidirectionnel des modèles AI traditionnels, ROSOrin—alimenté par ChatGPT—permet un saut cognitif de la compréhension sémantique à l'exécution physique, améliorant considérablement la naturalité et la fluidité de l'interaction homme-machine. Combiné avec une vision machine avancée, ROSOrin offre des capacités exceptionnelles en perception, raisonnement et action, le rendant idéal pour développer des applications AI incarnées sophistiquées.

1) Suivi Visuel

Avec les capacités de perception avancées d'un modèle de langage visuel, ROSOrin peut identifier intelligemment et verrouiller des objets cibles même dans des environnements complexes, lui permettant d'effectuer un suivi en temps réel avec adaptabilité et précision.

2) Contrôle Vocal

Avec l'intégration de ChatGPT, ROSOrin peut comprendre les commandes vocales et effectuer les actions correspondantes, permettant une interaction vocale intuitive et fluide.

3) Patrouille Autonome

Utilisant la compréhension sémantique d'un grand modèle de langage, ROSOrin peut détecter et suivre avec précision des lignes de différentes couleurs en temps réel tout en naviguant de manière autonome autour des obstacles, assurant une patrouille fluide et efficace.

4) Sensibilisation à la Distance

La voiture Hiwonder ROSOrin combine un modèle AI visuel avec une caméra de profondeur pour comprendre son environnement et percevoir les distances. En combinant la reconnaissance visuelle avec les données de distance, elle permet une réponse intelligente aux questions.

5. Caractéristiques Clés de ROS

1) Navigation Cartographique LiDAR

ROSOrin dispose d'un LiDAR haute précision et combine les données de l'encodeur et de l'IMU pour une cartographie et une navigation autonomes précises. Il prend en charge plusieurs algorithmes de cartographie, la navigation à point unique et multipoint, et peut être contrôlé via une application.

① Cartographie LiDAR Cartographer

② Cartographie LiDAR Hector

③ Cartographie LiDAR slam_toolbox

④ Cartographie LiDAR Gmapping

⑤ Fusion & Filtrage IMU-LiDAR

⑥ Planification de Trajectoire TEB & Évitement Dynamique d'Obstacles

⑦ Exploration & Cartographie Autonome RRT

⑧ Navigation à Point Unique/Multipoint

⑨ Navigation Multipoint

⑩ Évitement d'Obstacles LiDAR

2) Fonction de Caméra de Profondeur 3D

La caméra de profondeur à lumière structurée 3D peut générer des cartes de profondeur et des données de nuage de points, mesurant avec précision la distance et le volume des objets cibles. Combinée avec les données LiDAR, elle peut construire des cartes 3D en couleur, fournissant un support plus précis pour la perception environnementale et la navigation intelligente.

① Données de Profondeur & Nuage de Points

② Mesure de Distance de la Caméra de Profondeur

③ ORBSLAM2+ORBSLAM3

④ Cartographie Visuelle 3D & Navigation RTAB-Map

3) Détection de Modèle YOLOv11

ROSOrin dispose d'un modèle de deep learning YOLOv11 intégré, prenant en charge la segmentation d'image, l'estimation de pose, la classification d'image et la détection d'objets ciblés. Des tutoriels complets pour la formation et le déploiement du modèle sont également fournis.

① Segmentation d'Image

② Estimation de Pose

③ Classification d'Image

④ Détection d'Objets

4) Caractéristiques d'Interaction Visuelle AI

ROSorin combine des algorithmes de vision par ordinateur avec des stratégies de contrôle du mouvement pour permettre la détection et le verrouillage de cibles en temps réel via le mécanisme de pan-tilt. Avec la caméra de profondeur, il intègre en outre la détection de distance pour réaliser un suivi intelligent 3D dans l'espace.

① Suivi de Couleur

② Suivi de Visage

③ Contrôle de Code QR

④ Suivi de Ligne

⑤ Pose MediaPipe

⑥ Suivi d'Objet KCF

⑦ Deep Learning

⑧ Contrôle Gestuel

⑨ Détection

⑩ Suivi de Cible

5) Capture Vocale à Distance & Localisation de Source Sonore

Équipé d'un ensemble de 6 microphones, RosOrin offre une localisation sonore précise et une réduction efficace du bruit. Lorsqu'il est associé à un LiDAR, il permet une localisation basée sur la voix et une navigation intelligente. Avec le dialogue cloud iFlytek, une seule commande vocale peut contrôler le robot ou le guider à travers l'environnement cartographié.

① Interaction Vocale Naturelle

② Navigation Vocale Intelligente

③ Localisation de Source Sonore à 360°

6) Contrôle de Formation Multi-Robot

ROSOrin prend en charge la communication multi-robot et la coordination leader-suiveur, permettant une formation dynamique, une planification de trajectoire et un évitement d'obstacles en temps réel. Il prend en charge les formations en ligne, en colonne et en triangle, avec plusieurs robots contrôlés simultanément via un contrôleur sans fil.

① Navigation Multi-Robot

② Formation Multi-Robot

③ Contrôle Multi-Robot

7) Deep Learning, Conduite Autonome

Dans le système ROS, ROSOrin a déployé le cadre de deep learning PyTorch, la bibliothèque de traitement d'image open source OpenCV et l'algorithme de détection de cibles YOLOv11 pour aider les utilisateurs qui souhaitent explorer le domaine de la technologie de conduite autonome à profiter facilement de la conduite autonome AI.

① Détection de Panneaux Routiers

Grâce à la formation de la bibliothèque de modèles de deep learning, ROSOrin peut réaliser la fonction de conduite autonome avec la vision AI.

② Maintien de Voie

ROSOrin est capable de reconnaître les voies de chaque côté pour maintenir une distance de sécurité entre lui et les voies.

③ Stationnement Autonome

Combiné avec des algorithmes de deep learning pour simuler des scénarios réels, le stationnement latéral et l'entreposage peuvent être réalisés.

④ Prise de Décision de Virage

Selon les voies, les panneaux routiers et les feux de circulation, ROSOrin estimera le trafic et décidera s'il doit tourner.

6. Simulation Gazebo

Hiwonder ROSOrin utilise le cadre ROS et prend en charge la simulation Gazebo. Gazebo apporte une nouvelle approche pour vous permettre de contrôler ROSOrin et de vérifier l'algorithme dans un environnement simulé, ce qui réduit les exigences expérimentales et améliore l'efficacité.

1) Contrôle de Simulation du Corps

Grâce au contrôle de simulation du robot, la vérification de l'algorithme de navigation cartographique peut être effectuée pour améliorer la vitesse d'itération de l'algorithme et réduire le coût des essais et erreurs.

2) Affichage du Modèle URDF dans RViz

Fournit un modèle URDF précis qui peut être visualisé à l'aide de l'outil RViz pour observer les performances de cartographie et de navigation, facilitant le débogage et l'amélioration de l'algorithme.