Adapter는 사전 학습된 모델을 특정 작업에 맞게 효율적으로 미세 조정하기 위한 방법론 중 하나입니다. Adapter는 주로 다음과 같은 이유로 사용됩니다:
- 효율성: 모든 모델 파라미터를 미세 조정하는 대신, Adapter는 소수의 추가 파라미터만 학습합니다. 이는 계산 비용을 크게 줄입니다.
- 모듈성: 특정 작업을 위해 학습된 Adapter를 다른 모델이나 작업에 쉽게 재사용할 수 있습니다.
- 자원 절약: 전체 모델의 모든 파라미터를 업데이트하지 않기 때문에, 메모리와 계산 자원이 절약됩니다.
Adapter의 작동 방식
Adapter는 주로 Transformer 기반 모델에서 사용되며, 기존 모델의 파라미터는 고정(동결)하고, 새로운 작은 네트워크(어댑터 모듈)를 추가합니다. 이 작은 네트워크는 특정 작업에 맞게 학습됩니다. Adapter의 일반적인 구성은 다음과 같습니다:
- 기존 모델 동결: 기존 모델의 모든 파라미터는 고정되어 학습되지 않습니다.
- 작은 네트워크 추가: 모델의 각 계층(또는 일부 계층)에 작은 네트워크(어댑터 모듈)를 추가합니다.
- 어댑터 학습: 추가된 어댑터 모듈의 파라미터만 학습합니다.
Adapter Path의 의미
Adapter path는 사용자가 미리 학습한 어댑터 모듈의 경로를 지정하는 설정입니다. 이 경로는 어댑터 모듈이 저장된 위치를 가리킵니다. 어댑터 모듈을 로드하여 특정 작업에 맞게 모델을 미세 조정하는 데 사용됩니다.
Adapter의 예
Adapter를 사용한 미세 조정의 예는 다음과 같습니다:
- 사전 학습된 모델: 큰 언어 모델(예: BERT, GPT)을 사전 학습합니다.
- 어댑터 추가: 사전 학습된 모델의 각 계층에 작은 어댑터 모듈을 추가합니다.
- 특정 작업에 맞게 학습: 추가된 어댑터 모듈만 학습하여 특정 작업(예: 감정 분석, 번역)에 최적화합니다.
아래는 Python 코드로 어댑터를 추가하고 사용하는 예제입니다:
from transformers import BertModel, BertConfig, AdapterConfig
# 사전 학습된 BERT 모델 로드
config = BertConfig.from_pretrained("bert-base-uncased")
model = BertModel.from_pretrained("bert-base-uncased", config=config)
# 어댑터 구성
adapter_config = AdapterConfig.load("pfeiffer", reduction_factor=16)
model.add_adapter("classification_adapter", config=adapter_config)
# 어댑터 활성화
model.train_adapter("classification_adapter")
# 어댑터를 사용하여 모델 학습
# 여기서 model은 이제 어댑터 모듈만 학습합니다.
이 코드에서:
- BertModel: 사전 학습된 BERT 모델을 로드합니다.
- AdapterConfig: 어댑터 구성을 설정합니다 (여기서는 “pfeiffer” 구성 사용).
- add_adapter: 모델에 어댑터를 추가합니다.
- train_adapter: 추가된 어댑터를 학습 모드로 설정합니다.