Embodied AI: Ein umfassender Leitfaden zu Algorithmen, Roboterlernen und VLA-Modellen

Embodied AI (verkörperte KI) bezieht sich auf intelligente Systeme, die über einen physischen Körper wahrnehmen und handeln. Diese Systeme interagieren mit ihrer Umgebung, um Informationen zu sammeln, Probleme zu verstehen, Entscheidungen zu treffen und Aktionen auszuführen, was zu intelligenten und adaptiven Verhaltensweisen führt. Dieser Leitfaden bietet einen Einstiegspunkt für Neulinge, um die wichtigsten Technologien der Embodied AI schnell zu erfassen, ihre Problemlösungsfähigkeiten zu verstehen und eine Richtung für zukünftige vertiefte Erkundungen zu erhalten.

Um eine starke Grundlage in Embodied AI aufzubauen, sollten Sie die folgenden Ressourcen berücksichtigen: * **Technischer Fahrplan:** YunlongDongs Leitfaden bietet einen grundlegenden technischen Fahrplan. * **Soziale Medien:** Folgen Sie wichtigen Konten auf Plattformen wie WeChat (石麻日记, 机器之心, 新智元, 量子位, Xbot具身知识库, 具身智能之心, 自动驾驶之心, 3D视觉工坊, 将门创投, RLCN强化学习研究, CVHub) für Einblicke und Updates. * **KI-Blogger:** Erkunden Sie Listen bemerkenswerter KI-Blogger auf Plattformen wie Zhihu. * **Robotik-Labore:** Untersuchen Sie Zusammenfassungen von Robotik-Laboren auf Zhihu. * **Konferenzen und Fachzeitschriften:** Bleiben Sie mit hochwertigen Publikationen in Science Robotics, TRO, IJRR, JFR, RSS, IROS, ICRA, ICCV, ECCV, ICML, CVPR, NIPS, ICLR, AAAI und ACL auf dem Laufenden. * **Stanford Robotics Einführung:** Greifen Sie auf die Stanford Robotics Introduction Website für umfassendes Lernen zu. * **Wissensdatenbanken:** Tragen Sie zu gemeinschaftsgesteuerten Wissensdatenbanken bei und nutzen Sie diese. * **Stellenbörsen:** Erkunden Sie Stellenangebote im Bereich Embodied AI. * **Einflussreiche Forscher:** Folgen Sie Listen einflussreicher Forscher auf diesem Gebiet. * **Communities:** Engagieren Sie sich in Communities wie Lumina, DeepTimber, 宇树, Simulately, HuggingFace LeRobot und K-scale labs.

Dieser Abschnitt behandelt wesentliche Algorithmen und Werkzeuge, die in Embodied AI verwendet werden. * **Gängige Werkzeuge:** * **Point Cloud Downsampling:** Techniken wie zufälliges, gleichmäßiges, farthest point und normal space downsampling sind entscheidend für die Optimierung von 3D-Anwendungen. * **Eye-Hand-Kalibrierung:** Wesentlich für die Bestimmung der relativen Positionen zwischen Kameras und Roboterarmen, kategorisiert als Eye-on-Hand und Eye-outside-Hand. * **Vision Foundation Models:** * **CLIP:** Entwickelt von OpenAI, berechnet CLIP die Ähnlichkeit zwischen Bildern und Sprachbeschreibungen, wobei seine intermediären visuellen Merkmale für verschiedene nachgelagerte Anwendungen sehr nützlich sind. * **DINO:** Von Meta, liefert DINO hochrangige visuelle Merkmale von Bildern und hilft bei der Extraktion entsprechender Informationen. * **SAM (Segment Anything Model):** Ebenfalls von Meta, segmentiert SAM Objekte in Bildern basierend auf Prompts oder Boxen. * **SAM2:** Eine aktualisierte Version von SAM, die kontinuierliche Objektssegmentierung und -verfolgung in Videos ermöglicht. * **Grounding-DINO:** Ein Objekterkennungs-Framework für Bilder, entwickelt von IDEA Research, nützlich für die Erkennung von Zielobjekten. * **OmDet-Turbo:** Ein Open-Source-Forschungsprojekt des OmAI Lab, das Open-Vocabulary Object Detection (OVD) mit hoher Inferenzgeschwindigkeit bietet. * **Grounded-SAM:** Erweitert Grounding-DINO um Segmentierungsfähigkeiten und unterstützt Erkennung und anschließende Segmentierung. * **FoundationPose:** Ein Pose-Tracking-Modell von Nvidia. * **Stable Diffusion:** Ein Text-zu-Bild-Modell, das Zielbilder generieren und Zwischenschichtmerkmale für nachgelagerte Anwendungen bereitstellen kann. * **Depth Anything (v1 & v2):** Monokulare Tiefenschätzung-Modelle von der University of Hong Kong und ByteDance. * **Point Transformer (v3):** Eine Arbeit zur Extraktion von Point Cloud-Merkmalen. * **RDT-1B:** Ein grundlegendes Modell für die bimanuelle Robotermanipulation von der Tsinghua University. * **SigLIP:** Ähnlich wie CLIP, bietet multimodale Fähigkeiten.

Robot Learning umfasst verschiedene Techniken, die es Robotern ermöglichen, aus Erfahrung zu lernen und ihre Leistung zu verbessern. Zu den wichtigsten Methoden gehören: * **Model Predictive Control (MPC):** Eine fortschrittliche Regelungsstrategie, die ein dynamisches Modell eines Systems verwendet, um das zukünftige Verhalten über einen endlichen Zeithorizont vorherzusagen. MPC optimiert die Steuereingaben durch Lösung eines Optimierungsproblems, um Leistungskriterien und Einschränkungen zu erfüllen. Ressourcen umfassen: * **Einführungsvideos:** Model Predictive Control vom Huagong Robotics Laboratory. * **Theoretische Grundlagen:** Model predictive control: Theory and practice—A survey. * **Nichtlineares MPC:** An Introduction to Nonlinear Model Predictive Control. * **Explizites MPC:** The explicit linear quadratic regulator for constrained systems. * **Robustes MPC:** Predictive End-Effector Control of Manipulators on Moving Platforms Under Disturbance and Min-max feedback model predictive control for constrained linear systems. * **Reinforcement Learning (RL):** Ein Lernparadigma, bei dem ein Agent lernt, Entscheidungen zu treffen, indem er mit einer Umgebung interagiert, um ein Belohnungssignal zu maximieren. Ressourcen umfassen: * **Mathematische Prinzipien:** Reinforcement Learning von Zhao Shiyu an der Westlake University. * **Deep Reinforcement Learning Kurse:** The Foundations of Deep RL in 6 Lectures, UC Berkeley CS285 und Kurse von Li Hongyi. * **Praktische Implementierung:** Gymnasium für praktische Erfahrungen. * **Imitation Learning:** Eine Methode, bei der ein Roboter durch Beobachtung und Nachahmung von Expertenvorführungen lernt. Ressourcen umfassen: * **Tutorials:** 《模仿学习简洁教程》 von der Nanjing University LAMDA und Supervised Policy Learning for Real Robots, RSS 2024 Workshop.

Vision-Language-Action (VLA) Modelle integrieren Vision-Language Models (VLMs) mit Robotersteuerung, um Roboteraktionen direkt aus vortrainierten VLMs zu generieren. Diese Modelle tokenisieren Aktionen und verfeinern VLMs, ohne dass neue Architekturen erforderlich sind. * **Schlüsselmerkmale:** End-to-End, LLM/VLM-Backbones, vortrainierte Modelle. * **Kategorisierung:** Modellstruktur & Größe, Vor- und Feinabstimmungsstrategien, Datensätze, Eingaben & Ausgaben, Anwendungsszenarien. * **Ressourcen:** * **Blogs:** 具身智能Vision-Language-Action的思考. * **Übersichten:** A Survey on Vision-Language-Action Models for Embodied AI, 2024.11.28. * **Klassische Werke:** * **Autoregressive Modelle:** RT-Serie (RT-1, RT-2, RT-Trajectory, AUTORT), RoboFlamingo, OpenVLA, TinyVLA, TraceVLA. * **Diffusionsmodelle für Action Head:** Octo, π0, CogACT, Diffusion-VLA. * **3D Vision:** 3D-VLA, SpatialVLA. * **VLA-bezogen:** FAST (π0), RLDG, BYO-VLA. * **Unterschiedliche Fortbewegung:** RDT-1B (bimanuell), QUAR-VLA (Quadruped), CoVLA (autonomes Fahren), Mobility-VLA (Navigation), NaVILA (Navigation für Laufroboter). * **Dual-System Hierarchical VLA:** * Modelle wie Hi-Robot und pi-0.5 verwenden hierarchische Architekturen, um menschliche schnelle Reaktions- und tiefe Denkmechanismen nachzuahmen. * **Industrietaugliche VLA:** Figure: Helix, 智元：GO-1, Physical Intelligence, pi-0.5, Hi Robot, Nvidia: GROOT-N1, 灵初智能：Psi-R1, Google DeepMind: Gemini Robotics. * **Neueste VLA-Werke:** SafeVLA, HybridVLA, DexVLA, DexGraspVLA, UP-VLA, CoT-VLA, UniAct.

Moderne Embodied AI nutzt die leistungsstarken Informationsverarbeitungs- und Generalisierungsfähigkeiten von Large Language Models (LLMs) für eine bessere Roboterplanung. * **Ressourcen:** * **Serie:** Robotics+LLM系列通过大语言模型控制机器人. * **Wikis:** Embodied Agent wiki. * **Blogs:** Lilian Weng's AI Agent System Overview. * **Klassische Werke:** * **Generierung von High-Level-Strategien:** PaLM-E, DO AS I CAN, NOT AS I SAY, Look Before You Leap, EmbodiedGPT. * **Vereinheitlichte Strategieplanung und Aktionsgenerierung:** RT-2. * **Integration mit traditionellen Planern:** LLM+P, AutoTAMP, Text2Motion. * **Code als Policy:** Code as Policy, Instruction2Act. * **3D-visuelle Wahrnehmung mit LLMs:** VoxPoser, OmniManip. * **Multi-Roboter-Kollaboration:** RoCo, Scalable-Multi-Robot.

Computer Vision spielt eine entscheidende Rolle dabei, Robotern die Wahrnehmung und das Verständnis ihrer Umgebung zu ermöglichen. Zu den wichtigsten Bereichen gehören: * **2D-Vision:** * **Klassische Modelle:** CNN, ResNet, ViT, Swin Transformer. * **Generative Modelle:** Autoregressive Modelle, Diffusionsmodelle. * **3D-Vision:** * **Kurse:** Andreas Geigers 三维视觉导论, GAMES203 - 三维重建和理解. * **Klassische Arbeiten:** Diffusion Model for 2D/3D Generation, 3D生成相关论文-2024. * **4D-Vision:** * **Video-Verständnis:** 开山之作, 论文串讲, LLM时代的视频理解综述. * **4D-Generierung:** Video Generation blog, 4D 生成的论文列表. * **Visuelles Prompting:** Eine Methode zur Steuerung großer Modelle mit visuellen Eingaben. * **Affordance Grounding:** Lokalisierung von interaktiven Bereichen auf Objekten. * **2D:** Cross-View-AG, AffordanceLLM. * **3D:** OpenAD, SceneFun3D.

Dieser Abschnitt behandelt die Hardware- und Software-Werkzeuge, die für die Entwicklung und Bereitstellung von Embodied AI-Systemen unerlässlich sind. * **Hardware:** * **Embedded Systems:** Plattformen für die Ausführung von KI-Algorithmen auf Robotern. * **Mechanisches Design:** Prinzipien für das Design robuster und funktionaler Roboterkörper. * **Robotersystemdesign:** Integration verschiedener Komponenten zu einem kohärenten System. * **Sensoren:** Geräte zur Erfassung von Umgebungsdaten (z. B. Kameras, LiDAR). * **Taktile Sensorik:** Technologien, die es Robotern ermöglichen, Objekte zu fühlen und mit ihnen zu interagieren. * **Software:** * **Simulatoren:** Werkzeuge zur Simulation von Roboterumgebungen und -verhalten (z. B. MuJoCo, Isaac Lab, SAPIEN, Genesis). * **Benchmarks:** Standardisierte Aufgaben zur Bewertung der Roboterleistung. * **Datensätze:** Datensammlungen zum Trainieren und Testen von KI-Modellen.

Entdecken Sie kuratierte Listen von Forschungsarbeiten, um Ihr Verständnis spezifischer Themen im Bereich Embodied AI zu vertiefen: * **Allgemeine Embodied AI:** Umfassende Listen, die verschiedene Teilbereiche abdecken. * **Spezifische Themen:** Listen, die sich auf Bereiche wie Robot Learning, Computer Vision und multimodale Modelle konzentrieren.

Dieser Leitfaden bietet einen umfassenden Überblick über Embodied AI und behandelt wesentliche Ressourcen, Algorithmen und Werkzeuge. Durch die Erkundung dieser Bereiche können Neulinge eine solide Grundlage aufbauen und zur Weiterentwicklung dieses spannenden Feldes beitragen. Die Zukunft der KI ist verkörpert, und die Reise beginnt hier.