피지컬 AI 가이드

피지컬 AI(Physical AI)는 인공지능을 화면 안이 아니라 물리 세계에서 움직이는 기계에 올리는 분야입니다. 로봇 팔, 이동 로봇, 휴머노이드가 카메라로 주변을 보고 언어로 된 지시를 이해해 동작으로 옮깁니다. 소프트웨어만 다루던 AI와 달리 관성·마찰·지연 같은 물리 제약과 안전 문제가 함께 따라옵니다.

학습 순서

기초는 언어와 로봇 환경입니다. 파이썬과 C++, 리눅스 환경에 익숙해진 뒤 좌표계와 기구학(Kinematics)·동역학(Dynamics)으로 로봇의 자세와 움직임을 수식으로 다루는 법을 배웁니다. 여기에 ROS 2(Robot Operating System 2) 미들웨어로 센서와 액추에이터를 노드로 연결하는 구조를 익히고, 카메라·IMU·힘토크 센서가 각각 무엇을 알려주는지 이해합니다.

다음은 시뮬레이터입니다. 실기체로 바로 가지 않는 것이 현재 표준입니다. 하드웨어는 느리고 비싸고 망가지는 반면 시뮬레이터에서는 수천 번의 시도를 병렬로 돌릴 수 있기 때문입니다. NVIDIA Isaac Sim과 Isaac Lab, MuJoCo, Gazebo 같은 환경에서 제어 이론과 실시간성을 다룹니다.

세 번째는 데이터와 학습입니다. 로봇이 무엇을 해야 하는지 가르치려면 시연이 필요합니다. 텔레오퍼레이션(Teleoperation)으로 사람이 직접 로봇을 조작해 시연을 모으고, 그 데이터를 큐레이션하고 품질을 검수합니다. 이렇게 모은 시연으로 모방학습(Imitation Learning)을 시키고, 시행착오로 개선하는 구간에는 강화학습(Reinforcement Learning)을 씁니다. LeRobot과 SO-ARM101 같은 저가 오픈소스 로봇 팔을 쓰면 노트북에서 첫 정책을 학습시켜 볼 수 있습니다.

마지막은 VLA와 실기체 배포입니다. 시각-언어-행동 모델(Vision-Language-Action; VLA)은 카메라 영상과 자연어 지시를 함께 받아 동작을 출력합니다. OpenVLA 같은 공개 모델과 플로우 매칭 기반의 π0 계열이 이 흐름을 이끕니다. 학습한 정책을 실제 로봇으로 옮기는 sim2real 전이가 이 단계의 핵심 관문이며, 그 뒤 Jetson 같은 엣지 하드웨어에서 TensorRT로 추론을 최적화하고 안전 기준을 갖추면 실환경에 투입할 수 있습니다.

지금까지 설명한 흐름을 한눈에 정리하면 [그림 1]과 같습니다.

[그림 1] 피지컬 AI 학습 로드맵 구성도

기초, 시뮬레이션, 데이터와 학습, VLA와 배포 네 단계로 나누고 sim2real 전이를 전환점으로 강조했습니다. 시뮬레이터에서 잘 도는 정책이 실기체에서 그대로 동작하는 경우는 드물어서, 이 지점을 넘기는 일이 별도의 기술로 취급됩니다.

두 개의 시계

현대 휴머노이드 시스템은 서로 다른 주기로 도는 두 층으로 나뉩니다. 무엇을 할지 판단하는 의미 추론 층은 초당 열 번 안팎으로 돌고, 관절을 실제로 움직이는 모터 제어 층은 초당 백 번 이상으로 돕니다. 이 구조를 알아두면 왜 제어와 VLA를 서로 다른 단계에서 배우는지, 왜 큰 모델을 그대로 로봇에 올릴 수 없는지 이해하기 쉽습니다.

학습 주제

학습 주제	다루는 내용
ROS 2	로봇 소프트웨어 미들웨어와 노드 구조
로봇 시뮬레이션	Isaac Sim·MuJoCo·Gazebo 기반 가상 환경 구축
모방학습	텔레오퍼레이션 시연 수집과 정책 학습
강화학습	보상 설계와 시행착오 기반 정책 개선
VLA 모델	시각-언어-행동 모델의 구조와 활용
sim2real	시뮬레이터 정책을 실기체로 옮기는 기법

다른 영역과의 연결

모델 학습의 기초를 먼저 다지려면 AI 기초 가이드를, 로봇에 얹을 판단 계층을 이해하려면 AI 에이전트 가이드를 참고하세요. 학습한 정책을 제한된 하드웨어에서 돌리는 문제는 엣지 컴퓨팅 가이드에서 이어집니다.