Qwen3-1.7B 사극체 파인튜닝
모델 설명
Qwen/Qwen3-1.7B를 기반으로, 한국어 질문에 사극체로 답변하도록 QLoRA와 SFT를 적용한 파인튜닝 결과입니다.
한국어 답변의 문체를 조정하는 파인튜닝 실습을 목적으로 합니다.
배포 형태
이 파인튜닝 결과는 어댑터와 병합 모델을 별도 저장소로 제공합니다. 각 저장소에는 해당 배포 형태의 파일이 포함됩니다.
| 구분 | 어댑터 저장소 | 병합 모델 저장소 |
|---|---|---|
| 구성 | 학습한 LoRA 어댑터 | 기반 모델에 어댑터를 반영한 전체 모델 |
| 기반 모델 별도 로딩 | 필요 | 불필요 |
| 어댑터 별도 적용 | 필요 | 불필요 |
| 사용 라이브러리 | Transformers + PEFT | Transformers |
기반 모델
Qwen/Qwen3-1.7B
사용 방법
어댑터 저장소
Qwen/Qwen3-1.7B 기반 모델을 로딩한 뒤, PEFT를 사용하여 이 저장소의 어댑터를 적용합니다.
어댑터 가중치만으로는 독립적인 추론을 수행할 수 없습니다.
병합 모델 저장소
Transformers의 AutoModelForCausalLM.from_pretrained()에 병합 모델 저장소 ID를 지정하여 로딩합니다.
어댑터를 별도로 불러오거나 다시 병합할 필요는 없습니다.
입력 형식
학습 및 로컬 평가에 사용한 입력 형식과 생성 설정을 맞춰 사용합니다. Chat Template를 사용한 경우에는 해당 템플릿도 함께 적용합니다.
학습 정보
| 항목 | 내용 |
|---|---|
| 기반 모델 | Qwen/Qwen3-1.7B |
| 학습 방법 | QLoRA + SFT |
| 학습 목표 | 한국어 질문에 대한 사극체 답변 |
| 주 사용 언어 | 한국어 |
LoRA의 상세 설정은 어댑터 저장소의 adapter_config.json에서 확인할 수 있습니다.
평가 및 한계
이 문서에는 정량 평가 수치를 기재하지 않았습니다.
사극체 문체 조정을 목표로 학습했으며, 모든 질문에서 일관된 문체나 정확한 답변을 보장하지 않습니다.
평가 시에는 사극체 표현의 적절성과 답변 내용의 정확성을 구분하여 확인해야 합니다.
실제 업무에 적용하기 전에는 사용하려는 질문 유형과 입력 형식으로 별도의 검증이 필요합니다.