강의자료 · 전기공학을 위한 강화학습

Isaac Lab과 Robot Simulation

대학원 · 연구 적용 실습

새 Simulator의 예제를 실행하는 데서 멈추지 않고, 내 연구 Task에서 바꿔야 할 관측·행동·물리를 찾습니다.

실습 전에

01 Task·Physics·Renderer·RL library는 같은 역할일까요?

설명

Task는 관측·행동·Reward·Reset·Termination을 정의합니다. Physics backend는 물리 계산을, Renderer는 영상 생성을, RL library는 정책 학습을 담당합니다.

02 정책 제어 주기와 물리 Step이 다르면 무엇을 맞춰야 할까요?

설명

물리 Step과 정책의 제어 주기는 같지 않을 수 있습니다. Action scale·Joint 단위·Control decimation을 맞춰야 다른 Simulator나 로봇으로 정책을 옮길 수 있습니다.

실행 조건

적용 사례

이동로봇의 경로와 안전

격자 경로 또는 연속 속도 제어 중 한 가지를 선택하는 적용 설계 사례입니다.

Observation·State
위치·목표 상대 위치·근접 장애물 관측.
행동
격자 방향 선택 또는 제한된 Linear Velocity·Angular Velocity.
Reward·Constraint
도착·충돌·이동 비용을 분리. 충돌과 시간 초과를 구분.
비교 기준
최단 경로, 규칙 기반 회피.
확인할 지표
성공률, 충돌률, 이동 거리, 시간. 미관측 지도에서 평가.

구동계의 추종 성능과 입력 비용

각 실험에서 일정한 Reference Angular Velocity를 추종하는 합성 1차 Motor 모델입니다. 학습은 목표 1, 평가는 0.5·1·1.5에서 구분합니다.

Observation·State
Angular Velocity ω/5\omega/5, 목표 r/2r/2.
행동
연속 a∈[−1,1]a\in[-1,1], 실제 입력 u=2au=2a.
Reward·Constraint
−((r−ω)2+0.05u2)-((r-\omega)^2+0.05u^2). |ω|>5|\omega|>5에서 종료, 100 step에서 시간 제한.
비교 기준
동일 입력 제한의 P 제어.
확인할 지표
추종 RMSE, 평균 u², 안전 종료 수. 목표별 분리 평가.

실습

실습용 노트북 미리보기실습용 노트북 다운로드

1. Gymnasium에서 로봇 Simulator로

시작 조건

CartPole-v1의 관측·행동·Reset·시간 제한을 출발점으로 삼습니다.

진행 방법

  1. 제공된 Rule policy를 실행하고 Episode 하나의 관측·행동을 기록하세요.
  2. Isaac Lab 공식 Quickstart에서 Task·Physics backend·Renderer·RL library의 역할을 찾아 대응시키세요.

남길 결과

기록 항목과 확인할 점
역할
Gymnasium 예
Isaac Lab 설정
내가 바꿀 항목

확인할 점

  • 물리 시뮬레이션과 학습 알고리즘을 같은 구성요소로 혼동하지 않았는가?
  • Policy 제어 주기와 물리 시뮬레이션 주기를 구분했는가?

2. 환경 온보딩: 실행 또는 Transition 분석

시작 조건

GPU 환경: 준비된 Linux/Windows NVIDIA 환경에서 공식 Quickstart의 Task 목록→Zero/Random agent→학습→Play 순으로 진행합니다. CPU 환경: 같은 시간에 CartPole Transition·정책 비교와 Task 설정 대응을 완성합니다.

진행 방법

  1. GPU 환경이 준비되어 있으면 공식 문서의 현재 버전에 맞춰 Cartpole Task를 실행하고 Task ID·backend·seed·실행 명령을 기록하세요.
  2. GPU 환경이 없으면 제공된 CPU 코드에서 Random과 Rule의 궤적을 비교하고 종료 원인을 찾으세요.
  3. 선택 경로에서 관측·행동·종료 규칙 중 한 항목을 바꾸려면 어느 설정을 수정할지 찾으세요.

남길 결과

기록 항목과 확인할 점
경로
Task·환경
실행 조건
확인한 결과
수정할 설정

확인할 점

  • 실행하지 않은 Isaac 결과를 실행 결과처럼 적지 않았는가?
  • 설치 문제 해결만으로 끝나지 않고 관측–행동–종료를 추적했는가?

3. 연구 Task의 최소 구성

시작 조건

Manipulation·이동로봇·공정 제어 중 하나를 선택합니다.

진행 방법

  1. 장면·상태 관측·Action scale·Reward·Reset·Termination을 한 표에 적으세요.
  2. Isaac Lab 공식 로봇 튜토리얼에서 해당 설정이 있는 파일·구성요소를 연결하세요.
  3. 첫 실험에서는 무엇을 고정하고 어떤 한 항목만 바꿀지 정하세요.

남길 결과

기록 항목과 확인할 점
구성요소
내 Task 정의
참고 설정 위치
첫 검증

확인할 점

  • 시각화가 되는 것과 학습 문제의 정의가 올바른 것을 구분했는가?
  • 처음부터 완전한 로봇 시스템을 재현하려 하지 않고 검증할 핵심을 정했는가?

공식 예제·데이터