-
SGD (Stochastic Gradient Descent): • 문제 해결: 전체 데이터셋을 사용한 경사 하강법은 계산 비용이 높고 느린 수렴을 초래할 수 있습니다. SGD는 무작위로 선택된 데이터 샘플을 사용하여 가중치를 업데이트함으로써 계산 비용을 줄이고, 더 빠른 수렴을 가능하게 합니다.
-
Momentum을 적용한 SGD: • 문제 해결: SGD는 경로가 진동하거나 불안정할 수 있습니다. Momentum은 이전 기울기의 지수 가중 평균을 사용하여 현재 기울기를 보정함으로써 진동을 줄이고, 더 빠르고 안정적인 수렴을 돕습니다.
-
Adagrad: • 문제 해결: 일부 파라미터는 자주 업데이트되고, 일부는 드물게 업데이트됩니다. Adagrad는 각 파라미터에 대해 적응형 학습률을 적용하여, 자주 업데이트되는 파라미터의 학습률을 감소시키고, 드물게 업데이트되는 파라미터의 학습률을 증가시킵니다. 이로 인해 희소한 데이터셋에서 효과적으로 작동합니다.
-
RMSprop: • 문제 해결: Adagrad는 학습률이 지나치게 감소하여 학습이 멈추는 문제가 있습니다. RMSprop은 기울기의 제곱의 지수 가중 평균을 사용하여 학습률을 조절함으로써, 학습률의 급격한 감소를 방지하고, 더 안정적인 학습을 제공합니다.
-
Adam (Adaptive Moment Estimation): • 문제 해결: 모멘텀과 RMSprop의 장점을 결합하여, 각 파라미터에 대해 적응형 학습률을 유지합니다. 이로 인해 빠른 수렴 속도와 효과적인 학습이 가능하며, 다양한 딥러닝 작업에서 널리 사용됩니다.
-
AdamW: • 문제 해결: Adam은 L2 정규화(가중치 감쇠)를 적용할 때, 가중치 감쇠가 학습률에 의존하게 되어 최적화가 불안정해질 수 있습니다. AdamW는 가중치 감쇠를 독립적으로 적용하여, 모델의 일반화 성능을 향상시킵니다.
-
Adadelta: • 문제 해결: Adagrad는 학습률이 지나치게 감소하여 학습이 멈추는 문제가 있습니다. Adadelta는 기울기의 제곱의 지수 가중 평균을 사용하여 학습률을 조절함으로써, 학습률의 급격한 감소를 방지하고, 더 안정적인 학습을 제공합니다.
-
RAdam (Rectified Adam): • 문제 해결: Adam은 초기 단계에서 불안정한 수렴을 보일 수 있습니다. RAdam은 초기 단계에서의 불안정성을 완화하여, 더 안정적인 학습을 제공합니다.