딥러닝 모델을 훈련할 때 학습률(learning rate)을 동적으로 조정하는 방법을 의미합니다. 학습률은 모델의 가중치를 업데이트할 때 사용하는 스텝 크기를 결정하는 중요한 하이퍼파라미터입니다. 학습률이 너무 크면 훈련이 불안정해지고, 너무 작으면 훈련이 매우 느려질 수 있습니다. 따라서 학습률을 적절히 조정하는 것이 모델 훈련의 성능과 효율성을 높이는 데 중요합니다.
LR Scheduler의 역할
-
훈련 안정성 향상:
- 초기에는 큰 학습률로 빠르게 학습하다가, 나중에는 작은 학습률로 더 정밀하게 조정하여 안정적인 수렴을 유도합니다.
-
과적합 방지:
- 학습률을 주기적으로 낮추어 모델이 더 세밀하게 최적화를 수행하도록 하여, 훈련 데이터에 과적합되는 것을 방지합니다.
-
훈련 속도 개선:
- 적절한 학습률 스케줄링을 통해 모델이 더 빠르게 최적화되고, 훈련 시간을 단축시킬 수 있습니다.
LR Scheduler의 유형
-
Step LR Scheduler:
- 일정한 에포크마다 학습률을 감소시키는 방식입니다.
- 예: 매 10 에포크마다 학습률을 0.1배로 감소.
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1) -
Exponential LR Scheduler:
- 매 에포크마다 학습률을 지수적으로 감소시키는 방식입니다.
- 예: 매 에포크마다 학습률을 0.95배로 감소.
scheduler = torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma=0.95) -
ReduceLROnPlateau:
- 검증 손실(validation loss)이 더 이상 감소하지 않을 때 학습률을 감소시키는 방식입니다.
- 예: 검증 손실이 5 에포크 동안 개선되지 않으면 학습률을 0.1배로 감소.
scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=5) -
Cosine Annealing LR Scheduler:
- 학습률을 코사인 함수 형태로 감소시키는 방식입니다. 학습률이 점진적으로 감소하다가, 다시 약간 증가하는 형태를 반복합니다.
- 예: 50 에포크 동안 코사인 함수 형태로 학습률 조정.
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50) -
Cyclic LR Scheduler:
- 학습률을 주기적으로 변경하여, 일정 범위 내에서 증가 및 감소를 반복하는 방식입니다.
- 예: 학습률이 0.001에서 0.01 사이를 주기적으로 변동.
scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr=0.001, max_lr=0.01)
예제 코드 (PyTorch)
다음은 PyTorch를 사용하여 학습률 스케줄러를 설정하고 사용하는 예제입니다:
import torch
import torch.nn as nn
import torch.optim as optim
# 모델 정의
model = nn.Linear(10, 1)
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.01)
# 학습률 스케줄러 정의 (예: StepLR)
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)
# 학습 루프
for epoch in range(100):
model.train()
# 입력과 타겟 데이터 설정
inputs = torch.randn(32, 10)
targets = torch.randn(32, 1)
optimizer.zero_grad() # 그라디언트 초기화
outputs = model(inputs) # 모델 예측
loss = criterion(outputs, targets) # 손실 계산
loss.backward() # 역전파
optimizer.step() # 가중치 업데이트
# 학습률 스케줄러 스텝
scheduler.step()
print(f'Epoch {epoch+1}, Loss: {loss.item()}, Learning Rate: {scheduler.get_last_lr()}')
이 예제에서는 StepLR 스케줄러를 사용하여 매 10 에포크마다 학습률을 0.1배로 감소시킵니다.