A.X-3.1-Light Specialist-132 TIES + Answer-First Correction
이 모델은 skt/A.X-3.1-Light에 축별 specialist LoRA 3개(K/R/C, 각 132행)를
TIES로 병합한 뒤, 그 결과물 위에 answer-first 출력 보정 LoRA를 추가로 학습해
다시 병합한 BF16 전체 가중치 모델입니다. 프로젝트 파이프라인의 마지막 단계
(specialist merge → 출력 행동 정리)를 그대로 적용한 버전입니다. 연구 및
평가용이며, 생성 결과가 부정확할 수 있으므로 고위험 의사결정의 유일한 근거로
사용해서는 안 됩니다.
Model information
- Base model:
skt/A.X-3.1-Light - Base model revision:
9b41bb2406472634d8812c0b8931fa40fa9a6c3a - Model format: standalone BF16
safetensors; no separate adapter is required
Pipeline (2 stages)
Stage 1 — specialist merge: K(KMMLU-Pro)/R(MuSR)/C(Com2-main) specialist
LoRA를 각 132행(위치 균형 33/33/33/33, correct_unstable 개념 — base가 자유
생성으론 맞히지만 형식 통제·보기순서 변경에 실패하는 문항)으로 학습해 TIES
(density 0.5)로 병합. 세부는 AX-3.1-Light-specialist-300-ties와 동일 방법론,
행 수만 축소.
Stage 2 — answer-first correction: Stage 1 병합본 위에, 기존 v0.21
(AX-3.1-Light-sft_v0_21) 학습에 쓴 것과 동일한 데이터
(format_sft_answer_first_v1.jsonl, 5,801행, AI Hub 569/71874/71857/71949/71610
출처)로 LoRA를 추가 학습해 병합. target schema는 정답: X (근거: <한 문장>)
압축형이며, v0.21과 동일한 조건(rank16/alpha32/lr 5e-5 cosine/epoch1)이다.
Local diagnosis (n=100/axis, canonical suite, A_acc)
| 축 | base | Stage 1만(A안) | 이 모델(+보정) |
|---|---|---|---|
| click | 0.664 | 0.72 | 0.71 |
| kmmlu_pro | 0.310 | 0.37 | 0.37 |
| com2_main | 0.610 | 0.66 | 0.67 |
| snu_ko_musr | 0.476 | 0.49 | 0.51 |
| 평균 | 0.515 | 0.560 | 0.565 |
Known limitations
- n=100/축 로컬 진단은 이전 실험(
correct_all/correct_unstable)에서 KMMLU-Pro 방향을 실측과 정반대로 예측한 전례가 있어, 위 표의 KMMLU-Pro 상승을 실측 근거로 쓸 수 없다. - Stage 1(K/R/C-132) 단독 실측 결과는 이 리포지토리 업로드 시점에 아직 없다.