Sim-to-Real: Model Uncertainty와 Action Delay

시뮬레이터에서 좋은 정책도 물리 계수와 지연이 달라지면 실패할 수 있습니다. 실제 장치로 옮기기 전에 이 차이를 수치로 확인합니다.

• 필요 패키지: gymnasium·stable-baselines3·PyTorch.
• SB3 정책: MlpPolicy.
• Gymnasium step: 5개 반환값.
• 공개 환경 시각화: gymnasium[classic-control] 추가.

필요한 패키지가 없으면 Colab·Jupyter 코드 셀에서 %pip install control==0.10.2 gymnasium==1.3.0 stable-baselines3==2.9.2를 실행하세요.

구동계의 추종 성능과 입력 비용

각 실험에서 일정한 Reference Angular Velocity를 추종하는 합성 1차 Motor 모델입니다. 학습은 목표 1, 평가는 0.5·1·1.5에서 구분합니다.

Observation·State

Angular Velocity $\omega/5$, 목표 $r/2$.

행동

연속 $a\in[-1,1]$, 실제 입력 $u=2a$.

Reward·Constraint

$-((r-\omega)^2+0.05u^2)$. $|\omega|>5$에서 종료, 100 step에서 시간 제한.

비교 기준

동일 입력 제한의 P 제어.

확인할 지표

추종 RMSE, 평균 u², 안전 종료 수. 목표별 분리 평가.

공조·열 공정 제어

온도 편차와 에너지 사용을 함께 줄이는 제어 문제의 설계 사례입니다.

Observation·State

온도·목표·외기 조건·최근 입력. 지연이 크면 이력 포함.

행동

제한된 연속 가열·냉각 출력.

Reward·Constraint

온도 오차와 에너지 비용. 안전 한계는 보상과 별도 지표로도 기록.

비교 기준

온도 조절기, PI 제어.

확인할 지표

오차, 에너지, 한계 위반 시간. 외기 조건별 분리 평가.

시작 조건

Motor 기준 모델과 P 제어입니다. Reference Angular Velocity 0.5·1·1.5를 비교합니다.

진행 방법

1. 모델의 입력 제한·시간 간격·관측 단위를 적고 기준 제어를 실행하세요.
2. 목표별 RMSE·입력 비용·Return을 비교하세요.

남길 결과

• 목표별 평가 표와 대표 추종 곡선.

합성 모델에서 $a\in[-1,1]$인 Action은 $u=2a\in[-2,2]$인 모델 입력에 대응합니다. $u$의 물리 단위는 지정하지 않았습니다.

시작 조건

Gain .8→.6 또는 입력 지연 0→0.2 s를 하나씩 적용합니다. P 제어와 짧게 학습한 SAC를 같은 조건에서 비교합니다.

진행 방법

1. 제공된 StressMotor가 명목 모델에서 바꾼 항만 찾아 표시하세요.
2. 명목·Gain 저하·입력 지연의 평가를 실행하고 지표를 비교하세요.
3. 각 제어기가 취약한 조건 하나를 찾아 실제 장치에서 측정할 항목과 연결하세요.

남길 결과

• 정책×조건 표와 취약 조건의 추종 그림.
• 기록 위치: stress_test의 기존 while 루프, Step 직후.
• 보존할 값: env.t*0.1, env.omega, env.reference. 정책·조건·seed별 구분.
• 그림: 표에서 선택한 취약 조건, 기존 seed=100에서 두 정책의 추종 응답과 목표선.
• 축: 시간 [s]–Angular Velocity [rad/s]. 기존 평가 기록만 사용합니다.

시작 조건

앞의 세 조건 중 본인의 연구와 가장 가까운 하나를 선택합니다.

진행 방법

1. 식별할 물리 계수·센서 잡음·지연 중 우선순위를 하나 정하세요.
2. 명목값·측정할 범위·학습에 사용할 범위·별도 평가 조건을 표로 정하세요.
3. 실측 자료가 있다면 추정 방법을, 없다면 필요한 최소 관측을 적으세요.

남길 결과

• Domain randomization 또는 System identification 실험 계획 표.

• Isaac Lab · 로봇 학습 튜토리얼