DQN

같은 Queue 문제에서 Q-table과 Neural Network의 상태 표현을 비교하고, 학습한 정책을 규칙 정책과 평가합니다.

기준 Queue 예제는 NumPy로 실행합니다. 학습에 사용하지 않은 seed=100…104에서 정책을 비교합니다.

PyTorch가 필요합니다. 짧은 합성 실험이며 학습 성능을 보장하는 설정은 아닙니다.

공개 환경 활동은 gymnasium·stable-baselines3를 사용합니다. 시각화할 때만 gymnasium[classic-control]이 필요합니다.

필요한 패키지가 없으면 Colab·Jupyter 코드 셀에서 %pip install control==0.10.2 gymnasium==1.3.0 stable-baselines3==2.9.2를 실행하세요.

장비·통신 자원의 처리량과 비용

합성 대기열에 매 시점 평균 2건이 도착합니다. 서비스 용량을 높이면 대기는 줄지만 에너지 비용이 늘어납니다.

Observation·State

대기 수 $q=0$…20. 관측 $q/20$.

행동

처리 용량 0·2·4 중 선택.

Reward·Constraint

−(다음 대기 수 + 0.2×용량² + 10×유실 수). 100 step에서 시간 제한.

비교 기준

항상 용량 2, 대기 수에 따른 Threshold policy.

확인할 지표

평가 Return, 평균 대기 수, 평균 용량², 유실 수.

에너지 저장장치 운전 설계

실측 자료를 연결하기 전, 가격·부하·저장량의 역할을 구분하는 연구 설계 사례입니다.

Observation·State

SOC, 부하, 가격, 시간. 미래 정보를 포함하지 않는 관측.

행동

충·방전 전력. 이산 단계 또는 연속 범위를 먼저 결정.

Reward·Constraint

전력 비용과 열화 비용. SOC·전력 한계의 처리 규칙 명시.

비교 기준

시간대 규칙, 가능하면 동일 정보의 최적화.

확인할 지표

총 비용, 제약 위반, 최대 수전 전력. 날짜 단위 Train/Test 분리.

전체 재학습을 늘리기보다 핵심 변경 한 가지와 정책의 실제 지표를 연결해 봅니다.

시작 조건

• 환경: Queue.
• 네트워크: $1\to32\to3$.
• Optimizer: Adam, lr=.001.
• Discount Factor: $\gamma=.95$.
• Replay: 3000. Batch: 32.
• 학습량: 1800 Transition.

Q-table과 Neural Network이 상태별 행동을 표현하는 방식을 비교하고, 학습한 정책의 성능을 평가합니다.

진행 방법

1. 먼저 Queue의 규칙 정책 성능을 확인한 뒤 제공된 학습 함수를 실행하세요.
2. 학습 Loss와 $q=0$…20의 선택 행동을 그리세요.
3. 학습에 쓰지 않은 seed=100…104에서 Return·대기·비용·유실을 평가하세요.

남길 결과

• Loss·상태별 행동 그림, 규칙 정책과의 평가 표.

시작 조건

SB3 DQN, CartPole-v1, 2048 Transition입니다. 앞의 Queue 결과와 점수를 직접 비교하지 않고, 같은 환경의 Random·Rule과 비교합니다.

진행 방법

1. 공개 DQN의 Policy·Replay 크기·Target 갱신 주기·학습 시작 시점을 앞의 구현과 대응시키세요.
2. 제공된 짧은 학습을 실행하고 seed=100…102에서 결정적으로 평가하세요.
3. 학습 정책과 Random·Rule의 Episode 길이·Return을 비교하고, 학습량이 충분한지 판단할 근거를 적으세요.

남길 결과

• 구현 설정 대응 표와 공통 평가 표.

시작 조건

앞의 실험을 바탕으로 Queue·Motor 또는 본인의 연구 문제 하나를 선택해, 실제 적용을 위한 실험을 설계합니다.

진행 방법

1. State·Observation·Action·Reward·종료·시간 제한을 표 한 장으로 정의하세요. 각 변수의 단위와 실제로 얻을 수 있는 정보를 적습니다.
2. 예상 Transition 3개를 수치로 적어, 좋은 행동과 나쁜 행동의 보상이 의도에 맞는지 확인하세요.
3. 규칙 기반 비교 기준 한 개, 평가 조건 한 개, 가장 우려되는 실패 사례 한 개를 정하세요. 필요한 실측 자료나 Simulator도 적습니다.

남길 결과

• MDP 설계 표, Transition 예 3개, 비교 실험 계획.
• 실제 연구 자료가 없으면 적용 사례의 합성 조건으로 설계합니다.

앞서 선택한 연구 문제와 설계 표를 이어서 사용해도 됩니다. 이번 활동에서 배운 개념으로 기존 항목과 Transition 예를 다시 검토하고, 변경한 항목이나 그대로 둔 이유를 갱신하세요.

• SB3 · DQN
• CartPole · 환경 정의