PPO와 공개 Benchmark

정책을 한 번에 크게 바꾸는 문제를 제한하는 방식과 실제 정책 성능을 연결합니다.

• 필요 패키지: gymnasium·stable-baselines3·PyTorch.
• SB3 정책: MlpPolicy.
• Gymnasium step: 5개 반환값.
• 공개 환경 시각화: gymnasium[classic-control] 추가.

필요한 패키지가 없으면 Colab·Jupyter 코드 셀에서 %pip install control==0.10.2 gymnasium==1.3.0 stable-baselines3==2.9.2를 실행하세요.

장비·통신 자원의 처리량과 비용

합성 대기열에 매 시점 평균 2건이 도착합니다. 서비스 용량을 높이면 대기는 줄지만 에너지 비용이 늘어납니다.

Observation·State

대기 수 $q=0$…20. 관측 $q/20$.

행동

처리 용량 0·2·4 중 선택.

Reward·Constraint

−(다음 대기 수 + 0.2×용량² + 10×유실 수). 100 step에서 시간 제한.

비교 기준

항상 용량 2, 대기 수에 따른 Threshold policy.

확인할 지표

평가 Return, 평균 대기 수, 평균 용량², 유실 수.

에너지 저장장치 운전 설계

실측 자료를 연결하기 전, 가격·부하·저장량의 역할을 구분하는 연구 설계 사례입니다.

Observation·State

SOC, 부하, 가격, 시간. 미래 정보를 포함하지 않는 관측.

행동

충·방전 전력. 이산 단계 또는 연속 범위를 먼저 결정.

Reward·Constraint

전력 비용과 열화 비용. SOC·전력 한계의 처리 규칙 명시.

비교 기준

시간대 규칙, 가능하면 동일 정보의 최적화.

확인할 지표

총 비용, 제약 위반, 최대 수전 전력. 날짜 단위 Train/Test 분리.

이산·연속 행동 선택이 알고리즘과 맞는지 먼저 확인합니다. 자신의 도메인에서는 규칙 제어를 같은 정보·입력 제한으로 비교합니다.

시작 조건

Queue의 이산 행동

진행 방법

1. 앞의 policies 두 규칙 정책을 evaluate에 넣어 공통 평가 Seed의 결과를 기록하세요. QueueGym에서 대기 수를 $q/20$으로, 보상을 원래 값의 $1/20$로 변환하는 위치를 찾으세요.
2. fit_sb3("PPO",seed=0,steps=2048)를 실행하세요. 학습한 정책을 model.predict(...,deterministic=True)로 선택하고, 노트북의 evaluate로 같은 Seed에서 평가하세요.
3. 규칙 정책과 학습 정책의 Episode Return·평균 대기 수·평균 용량 제곱·총 유실 수를 같은 열의 표로 기록하세요. 개선된 값과 악화된 값을 짚어 설명하고, 판단의 근거가 이번 학습량과 평가 Seed의 결과임을 밝히세요.

남길 결과

• 기준·학습 정책의 평가 표. 대기와 비용 비교 그림.

시작 조건

CartPole-v1에서 clip_range=.1과 .2, 각각 2048 Transition입니다. 같은 seed와 평가군을 사용합니다.

진행 방법

1. 공개 구현의 clip_range·n_steps·batch_size·n_epochs가 무엇을 제어하는지 코드와 공식 설명을 연결하세요.
2. Clipping 설정만 바꾼 두 모델을 같은 학습량으로 실행하세요.
3. 공통 평가군의 Return·길이를 비교하세요. RL Baselines3 Zoo의 CartPole PPO 설정과 한 가지 차이를 찾아 그 영향을 가설로 적습니다.

남길 결과

• 두 설정 평가 표와 설정 차이에 관한 해석.

시작 조건

앞의 실험을 바탕으로 Queue·Motor 또는 본인의 연구 문제 하나를 선택해, 실제 적용을 위한 실험을 설계합니다.

진행 방법

1. State·Observation·Action·Reward·종료·시간 제한을 표 한 장으로 정의하세요. 각 변수의 단위와 실제로 얻을 수 있는 정보를 적습니다.
2. 예상 Transition 3개를 수치로 적어, 좋은 행동과 나쁜 행동의 보상이 의도에 맞는지 확인하세요.
3. 규칙 기반 비교 기준 한 개, 평가 조건 한 개, 가장 우려되는 실패 사례 한 개를 정하세요. 필요한 실측 자료나 Simulator도 적습니다.

남길 결과

• MDP 설계 표, Transition 예 3개, 비교 실험 계획.
• 실제 연구 자료가 없으면 적용 사례의 합성 조건으로 설계합니다.

앞서 선택한 연구 문제와 설계 표를 이어서 사용해도 됩니다. 이번 활동에서 배운 개념으로 기존 항목과 Transition 예를 다시 검토하고, 변경한 항목이나 그대로 둔 이유를 갱신하세요.

• SB3 · PPO
• RL Baselines3 Zoo · PPO 설정