LeRobot · 로봇 학습 · 모방 학습

LeRobot으로 로봇 학습 흐름 이해하기

사람이 조작한 시연을 기록하고 데이터셋·정책 학습·로봇 배포로 이어지는 LeRobot의 작업 흐름을 살펴봅니다.

무료 공개 · 최근 수정 2026-09-22

로봇을 가르치는 전체 흐름

LeRobot은 Hugging Face가 공개한 Python 기반 로봇 학습 라이브러리입니다. 실제 로봇 제어, 시연 데이터 기록, 정책 학습과 배포를 하나의 작업 흐름으로 연결합니다. 특정 로봇이나 단일 모델의 이름이 아니라 하드웨어 인터페이스, 데이터셋 도구, 학습 정책을 함께 제공하는 프로젝트입니다.

LeRobot 공식 소개는 작업을 Teleoperate → Record → Train → Deploy 네 단계로 정리합니다.

텔레오퍼레이션(Teleoperation): 리더 암, 키보드, 휴대전화 같은 입력 장치로 로봇을 직접 조작합니다.
기록: 카메라 영상, 로봇 상태와 사람이 내린 동작 명령을 시간에 맞춰 저장합니다.
학습: 기록한 시연을 이용해 관찰값에서 다음 동작을 예측하는 정책을 학습합니다.
배포: 학습한 정책으로 로봇을 움직이고 실제 작업 결과를 평가합니다.

이 단계는 순환합니다. 배포 결과가 불안정하면 실패 사례와 다양한 조건의 시연을 더 기록하고 다시 학습합니다. 한 번의 성공 시연만으로 새로운 환경에서도 같은 성능이 보장되지는 않습니다.

데이터셋과 정책 구분하기

LeRobotDataset은 카메라 영상과 상태·동작·시간 정보를 함께 다루는 표준 데이터 형식입니다. 여러 센서의 관찰값과 로봇의 동작이 같은 시점에 대응해야 정책이 무엇을 보고 어떤 행동을 했는지 학습할 수 있습니다. 데이터는 Hugging Face Hub에서 공유하거나 내려받아 사용할 수 있습니다.

정책(Policy)은 현재 관찰값을 받아 로봇이 실행할 동작을 출력하는 모델입니다. ACT 같은 비교적 가벼운 모방 학습 정책은 사람이 수행한 시연에서 관찰과 행동의 관계를 학습합니다. LeRobot 문서는 이런 정책부터 SmolVLA와 π₀ 계열 같은 시각-언어-행동 정책까지 같은 도구 흐름에서 다룹니다. 정책마다 필요한 데이터 형식, 연산 자원, 지원 하드웨어가 다르므로 이름만 보고 교체 가능한 모델로 가정해서는 안 됩니다.

[참고] 시연으로 배우는 모방 학습

모방 학습(Imitation Learning)은 시연에 없는 상황까지 안전하게 처리하거나 작업 성공을 보장하는 방법은 아닙니다. 데이터의 다양성과 품질을 확인하고, 실제 로봇에서는 제한된 속도와 작업 범위에서 평가해야 합니다.

하드웨어 없이 시작하기

실제 로봇이 없어도 공개 데이터셋을 살펴보고 정책을 학습하거나 시뮬레이션에서 평가할 수 있습니다. 공식 문서는 Hugging Face Hub의 기존 데이터셋, 무료 노트북과 시뮬레이션을 하드웨어 없는 시작 경로로 안내합니다.

로컬 설치를 선택한다면 현재 공식 설치 문서는 Python 3.12 환경을 안내합니다. 다음 명령은 별도 Conda 환경에 기본 패키지를 설치하고 설치 정보를 확인합니다.

conda create -y -n lerobot python=3.12
conda activate lerobot
pip install lerobot
python -m pip show lerobot

마지막 명령에서 패키지 이름, 설치된 버전과 경로가 표시되면 기본 설치를 확인한 것입니다. 버전 번호는 설치 시점에 따라 달라집니다. 기본 패키지는 핵심 기계학습 의존성만 포함하므로 목적에 맞는 추가 기능을 따로 설치합니다.

pip install 'lerobot[dataset]'
pip install 'lerobot[training]'
pip install 'lerobot[core_scripts]'

dataset은 데이터셋 처리, training은 정책 학습, core_scripts는 로봇 보정·기록·재생에 필요한 의존성을 더합니다. 세 명령을 모두 실행하라는 뜻은 아닙니다. 먼저 하려는 작업을 정한 뒤 필요한 항목만 선택합니다.

이 문서 작성 환경에서는 PyTorch를 포함한 패키지를 새로 내려받지 않아 설치 명령을 실행하지 않았습니다. 명령과 요구 조건은 LeRobot 설치 문서의 현재 안내와 대조했습니다.

실제 로봇으로 확장하기

실제 로봇에서는 지원 목록과 연결 방식을 먼저 확인하고 조립, 모터 설정, 보정을 마친 뒤 기록을 시작합니다. 장치 포트와 카메라 식별자는 컴퓨터마다 다르므로 다른 사람의 명령을 그대로 복사하지 않습니다. 실제 로봇 모방 학습 튜토리얼은 로봇·텔레오퍼레이터 설정, 데이터 기록, 학습과 평가 순서를 설명합니다.

다음은 공식 튜토리얼의 명령과 별개로 실제 장비를 다룰 때 적용할 기본 안전 원칙입니다. 로봇을 처음 움직일 때는 작업 공간에서 사람과 장애물을 치우고 즉시 전원을 끄거나 동작을 멈출 수단을 준비합니다. 낮은 속도와 좁은 동작 범위에서 확인한 뒤 범위를 넓힙니다. 학습 코드가 실행된다는 사실은 기계적 충돌이나 잘못된 동작으로부터 안전하다는 뜻이 아닙니다.

적용 범위와 한계 확인하기

LeRobot은 데이터 수집부터 정책 배포까지 공통 인터페이스를 제공하지만 로봇 제작, 데이터 품질 관리, 모델 선택과 안전 검증을 대신하지 않습니다. 지원 로봇과 정책, 설치 요구 조건은 빠르게 바뀔 수 있으므로 프로젝트를 시작할 때 공식 문서와 저장소의 현재 상태를 다시 확인합니다.

처음에는 공개 데이터셋을 시각화해 한 샘플에 어떤 카메라·상태·동작 정보가 들어 있는지 확인하는 편이 좋습니다. 그다음 시뮬레이션에서 작은 정책을 평가하고, 실제 하드웨어에서는 제한된 작업 하나로 범위를 좁혀 기록과 학습의 순환을 경험합니다.

참고 문서

설명이 어렵거나 잘못된 부분을 발견하셨나요?

문서 수정 의견 보내기