Policy Gradient와 Actor–Critic

확률적 정책의 직접 갱신을 확인한 뒤 Critic이 긴 Episode의 학습을 어떻게 바꾸는지 살펴봅니다.

• 필요 패키지: gymnasium·stable-baselines3·PyTorch.
• SB3 정책: MlpPolicy.
• Gymnasium step: 5개 반환값.

필요한 패키지가 없으면 Colab·Jupyter 코드 셀에서 %pip install gymnasium==1.3.0 stable-baselines3==2.9.2를 실행하세요.

장비·통신 자원의 처리량과 비용

합성 대기열에 매 시점 평균 2건이 도착합니다. 서비스 용량을 높이면 대기는 줄지만 에너지 비용이 늘어납니다.

Observation·State

대기 수 $q=0$…20. 관측 $q/20$.

행동

처리 용량 0·2·4 중 선택.

Reward·Constraint

−(다음 대기 수 + 0.2×용량² + 10×유실 수). 100 step에서 시간 제한.

비교 기준

항상 용량 2, 대기 수에 따른 Threshold policy.

확인할 지표

평가 Return, 평균 대기 수, 평균 용량², 유실 수.

이동로봇의 경로와 안전

격자 경로 또는 연속 속도 제어 중 한 가지를 선택하는 적용 설계 사례입니다.

Observation·State

위치·목표 상대 위치·근접 장애물 관측.

행동

격자 방향 선택 또는 제한된 Linear Velocity·Angular Velocity.

Reward·Constraint

도착·충돌·이동 비용을 분리. 충돌과 시간 초과를 구분.

비교 기준

최단 경로, 규칙 기반 회피.

확인할 지표

성공률, 충돌률, 이동 거리, 시간. 미관측 지도에서 평가.

시작 조건

Queue, Softmax 정책 1→16→3, $\gamma=.95$, Adam .005, 30 Episode입니다. Episode별 Return 평균을 빼는 단순 Baseline을 씁니다.

진행 방법

1. 고정 보상 [-1,-2,-3]의 Return-to-go를 직접 계산한 뒤 루프 결과와 대조하세요.
2. 제공된 REINFORCE를 실행하고 학습 Return과 결정적 평가 Return을 구분해 기록하세요.
3. 확률적 행동 수집과 평가의 argmax 선택이 다름을 설명하세요.

남길 결과

• 3-step 계산 표와 학습곡선, 규칙 정책과의 평가 표.

시작 조건

Queue의 이산 행동

진행 방법

1. 앞의 policies 두 규칙 정책을 evaluate에 넣어 공통 평가 Seed의 결과를 기록하세요. QueueGym에서 대기 수를 $q/20$으로, 보상을 원래 값의 $1/20$로 변환하는 위치를 찾으세요.
2. fit_sb3("A2C",seed=0,steps=2048)를 실행하세요. 학습한 정책을 model.predict(...,deterministic=True)로 선택하고, 노트북의 evaluate로 같은 Seed에서 평가하세요.
3. 규칙 정책과 학습 정책의 Episode Return·평균 대기 수·평균 용량 제곱·총 유실 수를 같은 열의 표로 기록하세요. 개선된 값과 악화된 값을 짚어 설명하고, 판단의 근거가 이번 학습량과 평가 Seed의 결과임을 밝히세요.

남길 결과

• 기준·학습 정책의 평가 표. 대기와 비용 비교 그림.

시작 조건

앞의 실험을 바탕으로 Queue·Motor 또는 본인의 연구 문제 하나를 선택해, 실제 적용을 위한 실험을 설계합니다.

진행 방법

1. State·Observation·Action·Reward·종료·시간 제한을 표 한 장으로 정의하세요. 각 변수의 단위와 실제로 얻을 수 있는 정보를 적습니다.
2. 예상 Transition 3개를 수치로 적어, 좋은 행동과 나쁜 행동의 보상이 의도에 맞는지 확인하세요.
3. 규칙 기반 비교 기준 한 개, 평가 조건 한 개, 가장 우려되는 실패 사례 한 개를 정하세요. 필요한 실측 자료나 Simulator도 적습니다.

남길 결과

• MDP 설계 표, Transition 예 3개, 비교 실험 계획.
• 실제 연구 자료가 없으면 적용 사례의 합성 조건으로 설계합니다.

앞서 선택한 연구 문제와 설계 표를 이어서 사용해도 됩니다. 이번 활동에서 배운 개념으로 기존 항목과 Transition 예를 다시 검토하고, 변경한 항목이나 그대로 둔 이유를 갱신하세요.

• SB3 · A2C