具身AI：アルゴリズム、ロボット学習、VLAモデルの包括的ガイド

具身AI（Embodied AI）とは、物理的な身体を通じて知覚し、行動するインテリジェントシステムのことです。これらのシステムは、環境と相互作用して情報を収集し、問題を理解し、意思決定を行い、行動を実行することで、知的で適応的な振る舞いを実現します。このガイドは、具身AIに関わる主要なテクノロジーを新規参入者が迅速に把握し、その問題解決能力を理解し、今後の詳細な探求に向けた方向性を得るための入門点を提供します。

具身AIの強固な基盤を築くために、以下のリソースを検討してください： * **テクニカルロードマップ：** YunlongDong氏のガイドは、基本的なテクニカルロードマップを提供します。 * **ソーシャルメディア：** WeChat（石麻日记、机器之心、新智元、量子位、Xbot具身知识库、具身智能之心、自动驾驶之心、3D视觉工坊、将门创投、RLCN强化学习研究、CVHub）などのプラットフォームで主要なアカウントをフォローし、洞察や最新情報を入手してください。 * **AIブロガー：** Zhihuなどのプラットフォームで注目すべきAIブロガーのリストを探索してください。 * **ロボット工学ラボ：** Zhihuでロボット工学ラボの概要を調査してください。 * **会議とジャーナル：** Science Robotics, TRO, IJRR, JFR, RSS, IROS, ICRA, ICCV, ECCV, ICML, CVPR, NIPS, ICLR, AAAI, ACLなどの質の高い出版物で最新情報を入手してください。 * **スタンフォードロボット工学入門：** スタンフォードロボット工学入門のウェブサイトにアクセスして、包括的な学習を行ってください。 * **ナレッジベース：** コミュニティ主導のナレッジベースに貢献し、活用してください。 * **求人情報：** 具身AI分野の求人情報を探してください。 * **影響力の高い研究者：** この分野の著名な研究者のリストをフォローしてください。 * **コミュニティ：** Lumina, DeepTimber, 宇树, Simulately, HuggingFace LeRobot, K-scale labsなどのコミュニティに参加してください。

このセクションでは、具身AIで使用される必須のアルゴリズムとツールについて説明します。 * **一般的なツール：** * **点群ダウンサンプリング：** ランダム、ユニフォーム、ファーセストポイント、ノーマルスペースダウンサンプリングなどの手法は、3Dアプリケーションの最適化に不可欠です。 * **アイハンドキャリブレーション：** カメラとロボットアーム間の相対位置を決定するために不可欠であり、アイオンハンドとアイアウトサイドハンドに分類されます。 * **ビジョン基盤モデル：** * **CLIP：** OpenAIによって開発されたCLIPは、画像と自然言語の説明の類似性を計算し、その中間視覚特徴は様々な下流アプリケーションに非常に役立ちます。 * **DINO：** MetaのDINOは、画像の高レベル視覚特徴を提供し、対応する情報の抽出を支援します。 * **SAM（Segment Anything Model）：** MetaのSAMも、プロンプトまたはボックスに基づいて画像をセグメント化します。 * **SAM2：** SAMのアップグレード版であり、ビデオ内のオブジェクトの連続的なセグメンテーションと追跡が可能です。 * **Grounding-DINO：** IDEA Researchによって開発された画像オブジェクト検出フレームワークであり、ターゲットオブジェクトの検出に役立ちます。 * **OmDet-Turbo：** OmAI Labによるオープンソースの研究プロジェクトであり、高速な推論速度でオープンボキャブラリーオブジェクト検出（OVD）を提供します。 * **Grounded-SAM：** Grounding-DINOをセグメンテーション機能で拡張し、検出とそれに続くセグメンテーションをサポートします。 * **FoundationPose：** Nvidiaによるポーズ追跡モデルです。 * **Stable Diffusion：** 目標画像を生成し、下流アプリケーションのための中間層特徴を提供できるテキストから画像へのモデルです。 * **Depth Anything (v1 & v2)：** 香港大学とByteDanceによる単眼深度推定モデルです。 * **Point Transformer (v3)：** 点群特徴抽出に関する研究です。 * **RDT-1B：** 清華大学によるロボットの二腕操作のための基盤モデルです。 * **SigLIP：** CLIPと同様に、マルチモーダル機能を提供します。

ロボット学習（Robot Learning）は、ロボットが経験から学習し、パフォーマンスを向上させることを可能にする様々な技術を網羅しています。主な手法には以下が含まれます： * **モデル予測制御（MPC）：** システムの動的モデルを使用して、有限時間ホライズンにわたる将来の挙動を予測する高度な制御戦略です。MPCは、パフォーマンス基準と制約を満たすために最適化問題を解くことで、制御入力を最適化します。リソースには以下が含まれます： * **入門ビデオ：** Huagong Robotics LaboratoryによるModel Predictive Control。 * **理論的基礎：** Model predictive control: Theory and practice—A survey。 * **非線形MPC：** An Introduction to Nonlinear Model Predictive Control。 * **明示的MPC：** The explicit linear quadratic regulator for constrained systems。 * **ロバストMPC：** Predictive End-Effector Control of Manipulators on Moving Platforms Under Disturbance and Min-max feedback model predictive control for constrained linear systems。 * **学習ベースMPC：** Learning-Based Model Predictive Control for Safe Exploration and Confidence-Aware Object Capture for a Manipulator Subject to Floating-Base Disturbances。 * **強化学習（RL）：** エージェントが報酬信号を最大化するために環境と相互作用することで意思決定を学習する学習パラダイムです。リソースには以下が含まれます： * **数学的原理：** 西湖大学のZhao ShiyuによるReinforcement Learning。 * **深層強化学習コース：** The Foundations of Deep RL in 6 Lectures, UC Berkeley CS285, およびLi Hongyi氏のコース。 * **実践的な実装：** 実践的な経験のためのGymnasium。 * **模倣学習：** ロボットが専門家のデモンストレーションを観察し模倣することで学習する手法です。リソースには以下が含まれます： * **チュートリアル：** 南京大学LAMDAによる《模仿学习简洁教程》およびSupervised Policy Learning for Real Robots, RSS 2024 Workshop。

ビジョン・言語・アクションモデル（VLAモデル）は、ビジョン・言語モデル（VLM）とロボット制御を統合し、事前学習済みのVLMから直接ロボットアクションを生成します。これらのモデルは、アクションをトークン化し、新しいアーキテクチャを必要とせずにVLMをファインチューニングします。 * **主な特徴：** エンドツーエンド、LLM/VLMバックボーン、事前学習済みモデル。 * **分類：** モデル構造とサイズ、事前学習とファインチューニング戦略、データセット、入力と出力、応用シナリオ。 * **リソース：** * **ブログ：** 具身智能Vision-Language-Action的思考。 * **サーベイ：** A Survey on Vision-Language-Action Models for Embodied AI, 2024.11.28。 * **古典的な作品：** * **自己回帰モデル：** RTシリーズ（RT-1, RT-2, RT-Trajectory, AUTORT）、RoboFlamingo、OpenVLA、TinyVLA、TraceVLA。 * **アクションヘッドのための拡散モデル：** Octo, π0, CogACT, Diffusion-VLA。 * **3Dビジョン：** 3D-VLA, SpatialVLA。 * **VLA関連：** FAST (π0), RLDG, BYO-VLA。 * **異なる移動：** RDT-1B（二腕）、QUAR-VLA（四足）、CoVLA（自動運転）、Mobility-VLA（ナビゲーション）、NaVILA（二足歩行ロボットナビゲーション）。 * **デュアルシステム階層型VLA：** * Hi-Robotやpi-0.5のようなモデルは、人間の迅速な応答と深い思考メカニズムを模倣するために階層的なアーキテクチャを使用しています。 * **産業グレードVLA：** Figure: Helix, 智元：GO-1, Physical Intelligence, pi-0.5, Hi Robot, Nvidia: GROOT-N1, 灵初智能：Psi-R1, Google DeepMind: Gemini Robotics。 * **最新のVLA作品：** SafeVLA, HybridVLA, DexVLA, DexGraspVLA, UP-VLA, CoT-VLA, UniAct。

現代の具身AIは、より優れたロボットプランニングのために、大規模言語モデル（LLM）の強力な情報処理能力と汎化能力を活用しています。 * **リソース：** * **シリーズ：** Robotics+LLMシリーズは、大規模言語モデルでロボットを制御します。 * **Wiki：** Embodied Agent wiki。 * **ブログ：** Lilian Weng氏のAI Agent System Overview。 * **古典的な作品：** * **高レベル戦略生成：** PaLM-E, DO AS I CAN, NOT AS I SAY, Look Before You Leap, EmbodiedGPT。 * **統一戦略プランニングとアクション生成：** RT-2。 * **従来のプランナーとの統合：** LLM+P, AutoTAMP, Text2Motion。 * **コードとしてのポリシー：** Code as Policy, Instruction2Act。 * **LLMによる3D視覚認識：** VoxPoser, OmniManip。 * **マルチロボット協調：** RoCo, Scalable-Multi-Robot。

コンピュータビジョンは、ロボットが環境を知覚し理解できるようにするために重要な役割を果たします。主な分野には以下が含まれます： * **2Dビジョン：** * **古典モデル：** CNN, ResNet, ViT, Swin Transformer。 * **生成モデル：** 自己回帰モデル、拡散モデル。 * **3Dビジョン：** * **コース：** Andreas Geiger氏の三维视觉导论, GAMES203 - 三维重建和理解。 * **古典論文：** Diffusion Model for 2D/3D Generation, 3D生成相关论文-2024。 * **4Dビジョン：** * **ビデオ理解：** 开山之作, 论文串讲, LLM时代的视频理解综述。 * **4D生成：** Video Generation blog, 4D 生成的论文列表。 * **ビジュアルプロンプティング：** ビジュアル入力で大規模モデルをガイドする手法です。 * **アフォーダンスグラウンディング：** オブジェクト上のインタラクティブな領域を特定すること。 * **2D：** Cross-View-AG, AffordanceLLM。 * **3D：** OpenAD, SceneFun3D。

このセクションでは、具身AIシステムの開発と展開に不可欠なハードウェアおよびソフトウェアツールについて説明します。 * **ハードウェア：** * **組み込みシステム：** ロボット上でAIアルゴリズムを実行するためのプラットフォーム。 * **機械設計：** 堅牢で機能的なロボットボディを設計するための原則。 * **ロボットシステム設計：** 様々なコンポーネントを統合して、まとまりのあるシステムを構築すること。 * **センサー：** 環境データを収集するためのデバイス（例：カメラ、LiDAR）。 * **触覚センサー：** ロボットが物体を感じ、相互作用できるようにする技術。 * **ソフトウェア：** * **シミュレーター：** ロボット環境と挙動をシミュレートするためのツール（例：MuJoCo, Isaac Lab, SAPIEN, Genesis）。 * **ベンチマーク：** ロボットパフォーマンスを評価するための標準化されたタスク。 * **データセット：** AIモデルのトレーニングとテストのためのデータコレクション。

具身AIの特定のトピックに関する理解を深めるために、厳選された研究論文のリストをご覧ください： * **一般的な具身AI：** 様々なサブフィールドを網羅する包括的なリスト。 * **特定のトピック：** ロボット学習、コンピュータビジョン、マルチモーダルモデルなどの分野に焦点を当てたリスト。

このガイドは、必須のリソース、アルゴリズム、ツールを網羅した具身AIの包括的な概要を提供します。これらの分野を探求することで、新規参入者は強固な基盤を築き、このエキサイティングな分野の進歩に貢献できます。AIの未来は具身化されており、その旅はここから始まります。