본문 바로가기

Linear Regression

오차가 줄어드는 과정과 얻은 예측식을 함께 보면 학습률이나 Bias가 왜 필요한지 판단할 수 있습니다.

실습 전에

01 Bias가 없으면 어떤 예측식만 만들 수 있을까요?

설명

원점을 지나는 선형식으로 제한됩니다. 입력 0에서의 출력 의미와 함께 판단합니다.

02 Loss가 발산하면 학습률과 데이터 중 무엇부터 구분할까요?

설명

입력·초기화·반복 수를 고정하고 학습률만 바꾸어 발산 원인을 먼저 분리합니다.

실습

실습용 노트북 미리보기 실습용 노트북 다운로드

1. Bias가 있는 센서 보정

시작 조건

제공 코드는 $x\in\{0,.5\}$ ,...,3.5에서 y=1.8x+.7에 작은 노이즈를 더한 합성 자료를 만듭니다. seed=7입니다.

진행 방법

제공한 200 epoch 기준 예제를 실행하고 Loss 곡선과 예측 직선을 그리세요.
학습된 w·b와 데이터 생성 계수를 나누어 표에 적으세요.
노이즈가 있으므로 학습 계수가 생성 계수와 완전히 같아야 하는지 설명하세요.

남길 결과

데이터·예측 직선과 Loss 그림, 계수 표.

기록 항목과 확인할 점

모델
w
b
Training MSE
$x=0$ 예측

확인할 점

예측식이 wx+b인지 확인했는가?
최종 Loss는 최종 모델로 다시 계산했는가?

2. 같은 모델의 학습률 비교

시작 조건

bias=True와 epoch=200을 고정하고 lr=.01,.05,.1을 비교합니다.

진행 방법

모든 실행의 초기 seed와 데이터는 고정하세요.
마지막 MSE와 1·20·200 epoch의 Loss를 기록하세요.
가장 작은 마지막 Loss와 가장 빠른 초기 감소를 구분하세요.

남길 결과

3행 표와 Loss 곡선 1개.

기록 항목과 확인할 점

lr
Loss@1
Loss@20
최종 MSE
w
b

확인할 점

조건마다 모델을 새로 초기화했는가?
Gradient 초기화가 반복마다 수행되는가?

3. Bias를 빼면 남는 오차

시작 조건

같은 자료에서 lr=.05, epoch=200을 유지하고 bias=True/False를 비교합니다.

진행 방법

두 예측 직선을 같은 그림에 표시하세요.
$x\in\{0,.25,1.25,2.75\}$ 에서 예측 값을 표에 적으세요.
학습 반복을 늘리는 것과 모델에 Bias를 허용하는 것의 차이를 설명하세요.

남길 결과

두 모델 그림과 예측 표, 해석 짧은 설명.

기록 항목과 확인할 점

bias 사용
Training MSE
$x=0$
$x=.25$
$x=1.25$
$x=2.75$

확인할 점

생성 자료를 Bias 없는 문제라고 오해하지 않았는가?
모델 가정과 최적화 조건을 구분했는가?