EXAONE-Deep-7.8B-sft_v0_2 (동전)
LGAI-EXAONE/EXAONE-Deep-7.8B를 기반으로, AI Hub 한국어 데이터를 활용해 K-AI 리더보드 5개 벤치마크 (KMMLU-Pro / CLIcK / HLE(Ko) / MuSR(Ko) / Com2-main(Ko))와 유사한 자체 proxy 벤치마크에서 진단한 출력 형식 결손과 Com2-main(Ko) 축의 인과관계 추론 콘텐츠 결손을 함께 교정하기 위해 LoRA 파인튜닝 후 병합한 모델입니다.
- 베이스 모델:
LGAI-EXAONE/EXAONE-Deep-7.8B - AI Hub 데이터 활용: 예
71857국어 교과 지문형 문제 데이터 (CLIcK 축)71874전문 의학지식 데이터 (KMMLU 축)71610금융, 법률 문서 기계독해 데이터 (HLE 축)569행정 문서 대상 기계독해 데이터 (MuSR 축)71949인과관계 기반 추론 데이터(업사이클링) (Com2-main 축)
- 주요 학습 방법:
- proxy benchmark 5축 1,350문항 기반 실패 진단(자유생성 A / 강제생성 B1 / 우도비교 B2 / 근거주입 C_evidence / 근거+우도 C2 5단계 probe)으로 축별 결손 유형을 형식결손/지식결손/추론결손으로 분류
- 형식결손이 압도적인 KMMLU/CLIcK/HLE/MuSR 축에는 "간단한 근거 +
정답: <A/B/C/D>" 형식 학습 - Com2-main 축은 우도(B2) 기준 우연 수준(0.244)의 진짜 콘텐츠 결손으로 확인되어, 인과관계 추론 서술(cot_step 기반) 데이터를 2배 가중해 별도로 추가 학습
- LoRA r=16, alpha=32, 2 epoch, 5,801 examples
- 모델의 목적: 5개 벤치마크 축 전반의 출력 형식 안정화 + Com2-main(Ko) 축의 실질적 인과관계 추론 능력 보강
- 구조 변경: 없음 (LoRA adapter를 base model에 병합한 표준 EXAONE-Deep-7.8B 아키텍처, 모델
자체의 custom
modeling_exaone.py는 원본 그대로 사용)
자체 Proxy 벤치마크 결과 (참고용, K-AI 공식 점수 아님)
무작위 sampling 5축 1,350문항 (KMMLU-Lite 300 / CLIcK-Lite 300 / HLE-Lite 200 / MuSR-Lite 300 / Com2-main-Lite 250) 기준, 베이스 대비:
| Axis | Base 안정정답 | sft_v0_2 안정정답 |
|---|---|---|
| KMMLU-Lite | 104/300 | 190/300 |
| CLIcK-Lite | 65/300 | 251/300 |
| HLE-Lite | 87/200 | 168/200 |
| MuSR-Lite | 136/300 | 271/300 |
| Com2-main-Lite | 5/250 | 244/250 |
| 합계 | 397/1,350 (29.4%) | 1,124/1,350 (83.3%) |
참고: Com2-main-Lite 축의 자체 proxy 문항은 정답 외 3개 오답 선택지를 같은 추론 유형 내 다른 문항의 정답 텍스트를 교차 샘플링해 합성한 것으로(원본 AI Hub 벤치마크의 실제 선택지는 이미지 기반), 네이티브 4지선다가 아님. 절대 정확도 수치는 참고용으로만 해석할 것.
사용 데이터셋 명시
AI Hub: 71857/71874/71610/569/71949의 validation label 중 최종 proxy 벤치마크로 표본 추출되지 않은 문서-안전(document-safe) 잔여분만 학습에 사용함.