기계 학습 모델, 특히 딥러닝 모델을 훈련할 때 사용되는 중요한 하이퍼파라미터 중 하나입니다. 학습률은 모델의 가중치를 업데이트할 때 사용하는 스텝 크기를 결정합니다. 더 구체적으로, 학습률은 모델이 손실 함수의 기울기에 따라 가중치를 얼마나 빠르게 또는 느리게 조정할지를 결정합니다.

학습률의 역할

  1. 가중치 업데이트:

    • 모델 훈련 중에 손실 함수(loss function)의 기울기를 계산하여, 가중치를 업데이트합니다. 학습률은 이 기울기에 곱해져서 가중치의 변화를 결정합니다.

    • 업데이트 공식:

      θnew=θold−η∇L(θold)

      여기서 θ는 모델의 가중치, η는 학습률, ∇L은 손실 함수의 기울기입니다.

  2. 학습 과정:

    • 학습률이 너무 크면 모델이 최적의 가중치를 지나치게 큰 스텝으로 이동하게 되어 학습 과정에서 발산할 수 있습니다.
    • 학습률이 너무 작으면 모델이 수렴하는 데 너무 오래 걸리거나, 지역 최소값에 갇혀서 최적의 솔루션을 찾지 못할 수 있습니다.

학습률 설정의 중요성

  1. 속도와 안정성:

    • 적절한 학습률은 모델이 빠르고 안정적으로 수렴하도록 합니다.
    • 너무 큰 학습률: 모델이 발산하여 손실이 줄어들지 않거나, 오히려 증가할 수 있습니다.
    • 너무 작은 학습률: 학습 속도가 느려지고, 최적의 가중치에 도달하지 못할 수 있습니다.
  2. 학습률 조정 기법:

    • 고정 학습률: 학습률을 훈련 내내 고정된 값으로 유지합니다.
    • 학습률 감소: 훈련이 진행됨에 따라 학습률을 점진적으로 줄입니다. 예를 들어, 학습률 스케줄링(learning rate scheduling)을 사용하여 학습률을 조정합니다.
    • 적응형 학습률: AdaGrad, RMSprop, Adam과 같은 옵티마이저를 사용하여 각 매개변수에 대해 학습률을 동적으로 조정합니다.

학습률 선택

  • 경험적 접근:
    • 일반적으로 학습률은 경험적 실험을 통해 선택됩니다. 다양한 학습률을 시도해 보고, 모델의 성능을 평가하여 최적의 값을 찾습니다.
  • 초기 값 추천:
    • 기본적으로 많이 사용하는 값은 10−310−3, 10−410−4 등이 있습니다. 그러나 이는 데이터셋과 모델 구조에 따라 달라질 수 있습니다.

예제

아래는 PyTorch를 사용하여 학습률을 설정하는 예제입니다:

import torch
import torch.nn as nn
import torch.optim as optim
 
# 모델 정의
model = nn.Linear(10, 1)
 
# 손실 함수 정의
criterion = nn.MSELoss()
 
# 옵티마이저 정의 (여기서 학습률은 0.001)
optimizer = optim.Adam(model.parameters(), lr=0.001)
 
# 학습 루프
for epoch in range(100):
    optimizer.zero_grad()       # 그라디언트 초기화
    outputs = model(inputs)     # 모델 예측
    loss = criterion(outputs, targets) # 손실 계산
    loss.backward()             # 역전파
    optimizer.step()            # 가중치 업데이트

이 예제에서 학습률은 Adam 옵티마이저에 의해 0.001로 설정됩니다.