AX-3.1-Light-sft_v3_1b_0.5 (동전, K-AI 등록 버전 3.15)
skt/A.X-3.1-Light 기반 두 파인튜닝 모델 sft_v0_21과 sft_v3_1b_safe를 가중치
평균(model soup, 각 0.5)해서 만든 모델입니다. 데이터 재학습이 아니라 두 모델의 전체
가중치를 원소별로 평균 낸 것입니다.
- 베이스 모델:
skt/A.X-3.1-Light - 결합 방법: weight averaging,
0.5×v0.21 + 0.5×v3.1b_safe - 입력 모델: sft_v0_21(AI Hub 71857/71874/71610/569/71949, 5,793건, 정답 우선 스키마, 실제 K-AI 평균 0.4326) / sft_v3_1b_safe(위 데이터 + 71875·577 단답형 추가 20,513건, 실제 K-AI 평균 0.4226)
- 목적: v0.21(CLIcK/Com2 강점)과 v3.1b-safe(KMMLU-Pro/HLE/MuSR 강점)를 가중치 평균으로 결합할 수 있는지 검증
- 구조 변경: 없음
로컬 평가 결과 (팀원 스위트, B1, 참고용 — K-AI 공식 점수 아님)
| 벤치마크 | base | v0.21 | soup-0.5 |
|---|---|---|---|
| KMMLU-Pro | 37.85% | 39.16% | 40.11% |
| CLIcK | 63.56% | 64.31% | 65.71% |
| HLE | 4.40% | 4.40% | 4.87% |
| Com2-main | 51.00% | 51.64% | 51.76% |
| SNU Ko-MuSR | 48.40% | 56.13% | 54.53% |
| 5축 평균 | 41.04% | 43.13% | 43.40% |
Com2-main·MuSR(Ko)은 이 프로젝트에서 로컬-실제 리더보드 방향이 어긋난 전례가 있어 참고용으로만 사용.