주요 Train Stage
-
Pre-training (사전 학습):
- 모델을 대규모 일반 데이터셋으로 학습하여 기본적인 언어 이해 능력을 습득하게 합니다.
- 이 단계에서는 모델이 다양한 언어 패턴과 구조를 학습합니다.
- 일반적으로 매우 큰 데이터셋을 사용하며, 넓은 범위의 언어 데이터를 포함합니다.
-
Fine-tuning (미세 조정):
- 사전 학습된 모델을 특정 작업이나 도메인에 맞추어 조정합니다.
- 예를 들어, 질문-응답 시스템, 번역, 감정 분석 등 특정 작업에 맞는 데이터셋으로 학습합니다.
- 이 단계에서는 모델이 특정한 태스크에 최적화되도록 세부적인 조정을 합니다.
-
Supervised Fine-Tuning (지도 학습 기반 미세 조정):
- 라벨이 있는 데이터셋을 사용하여 모델을 미세 조정합니다.
- 예를 들어, 각 입력 데이터에 대해 올바른 출력(정답)이 주어진 상태에서 모델을 학습합니다.
- 이는 모델이 특정 태스크에서 높은 성능을 발휘할 수 있도록 돕습니다.
-
Unsupervised Fine-Tuning (비지도 학습 기반 미세 조정):
- 라벨이 없는 데이터셋을 사용하여 모델을 미세 조정합니다.
- 모델이 데이터의 내재된 구조를 학습하도록 돕습니다.
- 이는 사전 학습된 모델이 새로운 데이터 분포에 적응하는 데 유용합니다.
-
RLHF (Reinforcement Learning with Human Feedback, 인간 피드백을 통한 강화 학습):
- 인간 피드백을 사용하여 모델을 강화 학습 방법으로 조정합니다.
- 모델의 출력을 인간이 평가하고, 이를 바탕으로 모델을 업데이트합니다.
- 이는 모델이 보다 자연스럽고 유용한 출력을 생성하도록 돕습니다.
LLaMA3 Train Stage 예제
LLaMA3와 같은 모델의 Train Stage 설정 예제를 살펴보겠습니다:
Train Stage:
stage: supervised_fine_tuning # 지도 학습 기반 미세 조정
data_dir: "data/specific_task" # 특정 작업에 맞는 데이터셋 디렉토리
learning_rate: 5e-5 # 학습률
epochs: 3 # 학습 에포크 수
batch_size: 32 # 배치 크기
optimizer: adamw # 옵티마이저
scheduler: cosine # 학습률 스케줄러
mixed_precision: true # 혼합 정밀도 학습 사용
이 설정에서는 지도 학습 기반 미세 조정을 수행하며, 특정 작업에 맞는 데이터셋을 사용하여 모델을 학습합니다.
1. Reward Modeling
Reward Modeling은 모델이 특정 작업에서 올바른 행동을 할 수 있도록 보상을 정의하고 학습하는 과정입니다.
- 특징: 모델의 출력에 대해 보상(reward)을 계산하는 함수 또는 모델을 학습합니다. 이 보상 모델은 올바른 행동에 대해 높은 보상을, 잘못된 행동에 대해 낮은 보상을 할당합니다.
- 사용 시기: 주로 강화 학습에서, 특히 인간 피드백을 통해 모델을 개선할 때 사용됩니다. 예를 들어, 인간이 평가한 데이터로 보상 모델을 학습하고, 이 모델을 사용해 에이전트를 강화 학습합니다.
2. PPO (Proximal Policy Optimization)
PPO는 강화 학습에서 정책(policy)을 최적화하는 방법 중 하나로, 안정적이고 효율적인 학습을 위해 고안되었습니다.
- 특징: 정책의 업데이트를 제한하여 큰 변화가 일어나지 않도록 합니다. 이를 통해 학습 과정에서 정책의 과도한 변화로 인한 불안정을 방지합니다.
- 사용 시기: 다양한 강화 학습 작업에서 널리 사용됩니다. PPO는 비교적 간단하고, 안정적이며, 여러 환경에서 좋은 성능을 보입니다.
- 작동 방식: 정책의 변화가 너무 크지 않도록 하는 클립핑(clipping) 기법을 사용하여, 새로운 정책이 이전 정책에서 크게 벗어나지 않도록 합니다.
3. DPO (Direct Policy Optimization)
DPO는 정책을 직접 최적화하는 방법으로, 일반적으로 정책 그라디언트(policy gradient) 방법을 사용합니다.
- 특징: 정책 그라디언트를 통해 직접적으로 정책을 업데이트합니다.
- 사용 시기: 복잡한 환경에서 정책을 직접 최적화할 때 사용됩니다. PPO와 유사하게 정책의 직접적인 업데이트를 통해 최적화를 수행합니다.
- 작동 방식: 보상 신호를 기반으로 정책을 업데이트하는데, 이 과정에서 그라디언트를 계산하여 정책을 최적화합니다.
4. KTO (KL-regularized Trust Region Optimization)
KTO는 강화 학습에서 정책을 최적화하는 방법으로, KL 발산(Kullback-Leibler divergence)을 사용하여 정책의 변화를 제한합니다.
- 특징: KL 발산을 통해 정책의 변화가 너무 크지 않도록 조절합니다. 이는 PPO와 유사한 접근 방식입니다.
- 사용 시기: 정책의 안정성을 유지하면서 최적화를 수행하고자 할 때 사용됩니다.
- 작동 방식: 정책의 업데이트가 KL 발산의 제한 내에서 이루어지도록 하여, 안정적인 학습을 보장합니다.
5. ORPO (Off-Policy Regularized Policy Optimization)
ORPO는 정책 최적화 방법으로, off-policy 데이터를 활용하여 정책을 최적화합니다.
- 특징: off-policy 데이터를 사용하여 학습 효율성을 높이고, 보상 신호를 기반으로 정책을 최적화합니다.
- 사용 시기: off-policy 데이터를 활용할 수 있는 환경에서, 효율적인 학습이 필요할 때 사용됩니다.
- 작동 방식: off-policy 샘플을 사용하여 정책을 업데이트하며, 정규화(term)를 통해 정책의 안정성을 유지합니다.