딥러닝 모델을 훈련할 때 사용하는 숫자 표현 방식(부동소수점)의 종류를 의미합니다. 각각의 부동소수점 형식은 연산 속도, 메모리 사용량, 그리고 계산의 정확성 측면에서 다릅니다. 딥러닝에서 주로 사용되는 부동소수점 형식은 다음과 같습니다: FP16, BF16, Pure BF16, FP32.

1. FP16 (Half Precision Floating Point)

  • 설명: FP16은 16비트 부동소수점 형식으로, 1비트의 부호, 5비트의 지수, 10비트의 가수로 구성됩니다.
  • 장점:
    • 메모리 사용량 감소: FP32에 비해 메모리 사용량이 절반으로 줄어듭니다.
    • 연산 속도 향상: 대부분의 하드웨어에서 FP16 연산은 FP32보다 빠르게 수행됩니다. 특히 NVIDIA의 RTX 시리즈는 FP16 연산을 매우 빠르게 수행할 수 있도록 최적화되어 있습니다. Tensor Core를 활용할 수 있어 연산 속도가 크게 향상됩니다.
  • 단점:
    • 정밀도 부족: 낮은 비트 수로 인해 정밀도가 떨어질 수 있으며, 이로 인해 특정 연산에서 오차가 발생할 수 있습니다.
    • 범위 제한: 표현할 수 있는 숫자의 범위가 좁습니다.
  • 사용 사례: 메모리 사용이 중요한 대규모 모델 훈련, 특히 GPU에서.

2. BF16 (Brain Floating Point)

  • 설명: BF16은 16비트 부동소수점 형식으로, 1비트의 부호, 8비트의 지수, 7비트의 가수로 구성됩니다. FP32의 지수 부분을 그대로 유지하면서 가수 부분을 줄인 형태입니다.
  • 장점:
    • 정밀도와 범위 균형: FP16보다 더 넓은 숫자 범위를 표현할 수 있으며, 상대적으로 높은 정밀도를 유지합니다.
    • 연산 속도: FP32보다 빠르게 연산을 수행할 수 있습니다.
    • FP32와의 호환성: FP32와 동일한 지수 비트를 사용하여, FP32와 쉽게 변환 가능합니다.
  • 단점:
    • 정밀도 손실: FP32에 비해 가수 부분의 비트 수가 적어 정밀도는 떨어집니다.
  • 사용 사례: TPU와 같은 하드웨어에서 주로 사용되며, FP16에 비해 더 안정적인 학습을 제공합니다.

3. Pure BF16

  • 설명: Pure BF16은 모든 연산과 데이터 저장을 BF16 형식으로 수행하는 것을 의미합니다.
  • 장점:
    • 메모리 절약: 연산뿐만 아니라 데이터 저장에도 BF16을 사용하여 메모리 사용량을 크게 줄입니다.
    • 속도 향상: BF16 형식의 연산 속도를 최대화합니다.
  • 단점:
    • 정밀도: 모든 연산이 BF16으로 수행되므로, 일부 계산에서 정밀도 손실이 발생할 수 있습니다.
  • 사용 사례: 메모리와 속도가 매우 중요한 경우, 특히 하드웨어 가속기가 BF16 연산에 최적화되어 있는 경우.

4. FP32 (Single Precision Floating Point)

  • 설명: FP32는 32비트 부동소수점 형식으로, 1비트의 부호, 8비트의 지수, 23비트의 가수로 구성됩니다.
  • 장점:
    • 높은 정밀도: 대부분의 딥러닝 모델에서 충분한 정밀도를 제공.
    • 넓은 범위: 매우 큰 숫자와 작은 숫자를 모두 표현할 수 있습니다.
  • 단점:
    • 메모리 사용량: 메모리 사용량이 FP16이나 BF16에 비해 두 배 이상입니다.
    • 연산 속도: FP16이나 BF16보다 연산 속도가 느릴 수 있습니다.
  • 사용 사례: 정밀도가 매우 중요한 작업, 일반적인 모델 훈련 및 추론.