구체화된 AI: 알고리즘, 로봇 학습 및 VLA 모델 종합 가이드

구체화된 AI는 물리적 신체를 통해 인지하고 행동하는 지능형 시스템을 의미합니다. 이러한 시스템은 환경과 상호 작용하여 정보를 수집하고, 문제를 이해하며, 결정을 내리고, 행동을 실행하여 지능적이고 적응적인 행동을 결과로 도출합니다. 이 가이드는 구체화된 AI에 관련된 주요 기술을 빠르게 파악하고, 문제 해결 능력을 이해하며, 향후 심층 탐구를 위한 방향을 얻고자 하는 신규 사용자에게 진입점을 제공합니다.

구체화된 AI에 대한 강력한 기반을 구축하려면 다음 자료를 고려하십시오: * **기술 로드맵:** YunlongDong의 가이드는 기초적인 기술 로드맵을 제공합니다. * **소셜 미디어:** WeChat(石麻日记, 机器之心, 新智元, 量子位, Xbot具身知识库, 具身智能之心, 自动驾驶之心, 3D视觉工坊, 将门创投, RLCN强化学习研究, CVHub)과 같은 플랫폼에서 주요 계정을 팔로우하여 통찰력과 최신 정보를 얻으십시오. * **AI 블로거:** Zhihu와 같은 플랫폼에서 주목할 만한 AI 블로거 목록을 살펴보십시오. * **로봇 공학 연구실:** Zhihu에서 로봇 공학 연구실 요약을 조사하십시오. * **컨퍼런스 및 저널:** Science Robotics, TRO, IJRR, JFR, RSS, IROS, ICRA, ICCV, ECCV, ICML, CVPR, NIPS, ICLR, AAAI, ACL의 고품질 출판물을 최신 상태로 유지하십시오. * **스탠포드 로봇 공학 소개:** 포괄적인 학습을 위해 스탠포드 로봇 공학 소개 웹사이트에 액세스하십시오. * **지식 베이스:** 커뮤니티 기반 지식 베이스에 기여하고 활용하십시오. * **채용 공고:** 구체화된 AI 분야의 채용 기회를 탐색하십시오. * **영향력 있는 연구원:** 해당 분야의 영향력 있는 연구원 목록을 팔로우하십시오. * **커뮤니티:** Lumina, DeepTimber, 宇树, Simulately, HuggingFace LeRobot, K-scale labs와 같은 커뮤니티에 참여하십시오.

이 섹션에서는 구체화된 AI에 사용되는 필수 알고리즘과 도구를 다룹니다. * **일반적인 도구:** * **포인트 클라우드 다운샘플링:** 무작위, 균일, 최원점, 법선 공간 다운샘플링과 같은 기법은 3D 애플리케이션 최적화에 중요합니다. * **Eye-Hand 캘리브레이션:** 카메라와 로봇 팔 간의 상대적 위치를 결정하는 데 필수적이며, eye-on-hand 및 eye-outside-hand로 분류됩니다. * **비전 기반 모델:** * **CLIP:** OpenAI에서 개발한 CLIP은 이미지와 언어 설명 간의 유사성을 계산하며, 중간 시각 특징은 다양한 다운스트림 애플리케이션에 매우 유용합니다. * **DINO:** Meta에서 개발한 DINO는 이미지의 고수준 시각 특징을 제공하여 해당 정보 추출을 돕습니다. * **SAM (Segment Anything Model):** Meta에서 개발한 SAM은 프롬프트나 상자를 기반으로 이미지의 객체를 분할합니다. * **SAM2:** SAM의 업그레이드 버전으로, 비디오에서 객체의 연속적인 분할 및 추적이 가능합니다. * **Grounding-DINO:** IDEA Research에서 개발한 이미지 객체 감지 프레임워크로, 대상 객체 감지에 유용합니다. * **OmDet-Turbo:** OmAI Lab의 오픈 소스 연구 프로젝트로, 높은 추론 속도로 오픈 보케뷸러리 객체 감지(OVD)를 제공합니다. * **Grounded-SAM:** Grounding-DINO를 분할 기능으로 확장하여 감지 후 분할을 지원합니다. * **FoundationPose:** Nvidia의 포즈 추적 모델입니다. * **Stable Diffusion:** 목표 이미지를 생성하고 다운스트림 애플리케이션을 위한 중간 레이어 특징을 제공할 수 있는 텍스트-이미지 모델입니다. * **Depth Anything (v1 & v2):** 홍콩 대학교 및 ByteDance의 단안 깊이 추정 모델입니다. * **Point Transformer (v3):** 포인트 클라우드 특징 추출에 대한 연구입니다. * **RDT-1B:** 칭화대학교의 로봇 이중 조작을 위한 기반 모델입니다. * **SigLIP:** CLIP과 유사하게 멀티모달 기능을 제공합니다.

로봇 학습은 로봇이 경험을 통해 학습하고 성능을 향상시킬 수 있도록 하는 다양한 기술을 포함합니다. 주요 방법은 다음과 같습니다: * **모델 예측 제어 (MPC):** 유한 시간 지평선에 걸쳐 시스템의 미래 행동을 예측하기 위해 시스템의 동적 모델을 사용하는 고급 제어 전략입니다. MPC는 성능 기준과 제약 조건을 충족하기 위해 최적화 문제를 해결하여 제어 입력을 최적화합니다. 자료는 다음과 같습니다: * **입문 동영상:** Huagong Robotics Laboratory의 Model Predictive Control. * **이론적 기초:** Model predictive control: Theory and practice—A survey. * **비선형 MPC:** An Introduction to Nonlinear Model Predictive Control. * **명시적 MPC:** The explicit linear quadratic regulator for constrained systems. * **강건 MPC:** Predictive End-Effector Control of Manipulators on Moving Platforms Under Disturbance and Min-max feedback model predictive control for constrained linear systems. * **학습 기반 MPC:** Learning-Based Model Predictive Control for Safe Exploration and Confidence-Aware Object Capture for a Manipulator Subject to Floating-Base Disturbances. * **강화 학습 (RL):** 에이전트가 보상 신호를 최대화하기 위해 환경과 상호 작용하여 의사 결정을 학습하는 학습 패러다임입니다. 자료는 다음과 같습니다: * **수학적 원리:** Westlake University의 Zhao Shiyu가 쓴 Reinforcement Learning. * **심층 강화 학습 강좌:** The Foundations of Deep RL in 6 Lectures, UC Berkeley CS285, Li Hongyi의 강좌. * **실제 구현:** 실습 경험을 위한 Gymnasium. * **모방 학습:** 로봇이 전문가의 시연을 관찰하고 모방하여 학습하는 방법입니다. 자료는 다음과 같습니다: * **튜토리얼:** Nanjing University LAMDA의 《模仿学习简洁教程》 및 Supervised Policy Learning for Real Robots, RSS 2024 Workshop.

비전-언어-행동 모델(VLA 모델)은 비전-언어 모델(VLM)과 로봇 제어를 통합하여 사전 훈련된 VLM에서 직접 로봇 행동을 생성합니다. 이러한 모델은 새로운 아키텍처를 요구하지 않고 행동을 토큰화하고 VLM을 미세 조정합니다. * **주요 특징:** 종단간(end-to-end), LLM/VLM 백본, 사전 훈련된 모델. * **분류:** 모델 구조 및 크기, 사전 훈련 및 미세 조정 전략, 데이터셋, 입력 및 출력, 애플리케이션 시나리오. * **자료:** * **블로그:** 具身智能Vision-Language-Action的思考. * **설문 조사:** A Survey on Vision-Language-Action Models for Embodied AI, 2024.11.28. * **고전적인 연구:** * **자기회귀 모델:** RT 시리즈(RT-1, RT-2, RT-Trajectory, AUTORT), RoboFlamingo, OpenVLA, TinyVLA, TraceVLA. * **행동 헤드를 위한 확산 모델:** Octo, π0, CogACT, Diffusion-VLA. * **3D 비전:** 3D-VLA, SpatialVLA. * **VLA 관련:** FAST (π0), RLDG, BYO-VLA. * **다양한 이동성:** RDT-1B (이중 조작), QUAR-VLA (사족 보행), CoVLA (자율 주행), Mobility-VLA (내비게이션), NaVILA (다족 로봇 내비게이션). * **이중 시스템 계층적 VLA:** * Hi-Robot 및 pi-0.5와 같은 모델은 인간의 빠른 반응 및 심층 사고 메커니즘을 모방하기 위해 계층적 아키텍처를 사용합니다. * **산업 등급 VLA:** Figure: Helix, 智元：GO-1, Physical Intelligence, pi-0.5, Hi Robot, Nvidia: GROOT-N1, 灵初智能：Psi-R1, Google DeepMind: Gemini Robotics. * **최신 VLA 연구:** SafeVLA, HybridVLA, DexVLA, DexGraspVLA, UP-VLA, CoT-VLA, UniAct.

현대의 구체화된 AI는 더 나은 로봇 계획을 위해 대규모 언어 모델(LLM)의 강력한 정보 처리 및 일반화 능력을 활용합니다. * **자료:** * **시리즈:** Robotics+LLM 시리즈는 대규모 언어 모델을 통해 로봇을 제어합니다. * **위키:** Embodied Agent wiki. * **블로그:** Lilian Weng의 AI Agent System Overview. * **고전적인 연구:** * **고수준 전략 생성:** PaLM-E, DO AS I CAN, NOT AS I SAY, Look Before You Leap, EmbodiedGPT. * **통합 전략 계획 및 행동 생성:** RT-2. * **전통적인 플래너와의 통합:** LLM+P, AutoTAMP, Text2Motion. * **정책으로서의 코드:** Code as Policy, Instruction2Act. * **LLM을 사용한 3D 시각 인식:** VoxPoser, OmniManip. * **다중 로봇 협업:** RoCo, Scalable-Multi-Robot.

컴퓨터 비전은 로봇이 환경을 인지하고 이해하도록 하는 데 중요한 역할을 합니다. 주요 영역은 다음과 같습니다: * **2D 비전:** * **고전 모델:** CNN, ResNet, ViT, Swin Transformer. * **생성 모델:** 자기회귀 모델, 확산 모델. * **3D 비전:** * **강좌:** Andreas Geiger의 三维视觉导论, GAMES203 - 三维重建和理解. * **고전 논문:** Diffusion Model for 2D/3D Generation, 3D生成相关论文-2024. * **4D 비전:** * **비디오 이해:** 开山之作, 论文串讲, LLM 시대의 비디오 이해 개요. * **4D 생성:** Video Generation blog, 4D 생성 논문 목록. * **시각적 프롬프팅:** 시각적 입력을 사용하여 대규모 모델을 안내하는 방법입니다. * **어포던스 접지:** 객체에서 상호 작용 가능한 영역을 찾는 것입니다. * **2D:** Cross-View-AG, AffordanceLLM. * **3D:** OpenAD, SceneFun3D.

이 섹션에서는 구체화된 AI 시스템을 개발하고 배포하는 데 필수적인 하드웨어 및 소프트웨어 도구를 다룹니다. * **하드웨어:** * **임베디드 시스템:** 로봇에서 AI 알고리즘을 실행하기 위한 플랫폼입니다. * **기계 설계:** 견고하고 기능적인 로봇 본체를 설계하기 위한 원칙입니다. * **로봇 시스템 설계:** 다양한 구성 요소를 통합하여 일관된 시스템을 구축합니다. * **센서:** 환경 데이터를 수집하기 위한 장치(예: 카메라, LiDAR). * **촉각 센싱:** 로봇이 물체를 느끼고 상호 작용할 수 있도록 하는 기술입니다. * **소프트웨어:** * **시뮬레이터:** 로봇 환경 및 행동을 시뮬레이션하기 위한 도구(예: MuJoCo, Isaac Lab, SAPIEN, Genesis). * **벤치마크:** 로봇 성능을 평가하기 위한 표준화된 작업입니다. * **데이터셋:** AI 모델을 훈련하고 테스트하기 위한 데이터 모음입니다.

구체화된 AI의 특정 주제에 대한 이해를 심화하기 위해 선별된 연구 논문 목록을 탐색하십시오: * **일반 구체화된 AI:** 다양한 하위 분야를 포괄하는 포괄적인 목록입니다. * **특정 주제:** 로봇 학습, 컴퓨터 비전, 멀티모달 모델과 같은 영역에 초점을 맞춘 목록입니다.

이 가이드는 구체화된 AI에 대한 포괄적인 개요를 제공하며, 필수 자료, 알고리즘 및 도구를 다룹니다. 이러한 영역을 탐색함으로써 신규 사용자는 강력한 기반을 구축하고 이 흥미로운 분야의 발전에 기여할 수 있습니다. AI의 미래는 구체화되어 있으며, 여정은 여기서 시작됩니다.