Qwen3.8-27B-Human-KO-Enterprise-v0.2
다키클라우드(ThakiCloud)의 한국어 모델 ThakiCloud/Qwen3.8-27B-Human-KO 를 기업 상담 에이전트로 조정한 체크포인트입니다.
회사 정책(규정과 예외 조항)과 고객 요청을 함께 읽고, 답변·되묻기·확인 요청·도구 호출·상담사 연결·거절 가운데
정책에 맞는 행동 하나를 JSON 으로 고릅니다.
결과 — ThakiCloud/EnterpriseOps-KO-Policy
| 모델 | 정확도 | 거절(REFUSE) | 도구 호출(CALL_TOOL) | 예외 미발동 | 예외 없음 |
|---|---|---|---|---|---|
ThakiCloud/Qwen3.8-27B-Human-KO (기준, 3회 평균) | 95.6 | 97.1 | 79.4 | 90.3 | 97.2 |
Qwen3.8-27B-Human-KO-Enterprise-v0.1 | 97.2 | 97.1 | 80.5 | 96.6 | 99.4 |
Qwen3.8-27B-Human-KO-Enterprise-v0.2 | 97.6 | 99.2 | 79.2 | 94.9 | 96.4 |
같은 조건으로 학습한 세 시드 중 가운데 성적의 체크포인트를 공개합니다(세 시드 정확도 97.1~97.6%, 평균 97.4%). 기준 모델 대비 오답이 44.7% 줄었습니다.
안전·일반 능력 (기준 모델과 같은 조건에서 나란히 측정)
| 항목 | 기준 모델 | 이 모델 | 문항 수 |
|---|---|---|---|
| 영어 지식 (MMLU) | 92.5 | 95.7 | 94 |
| 한국어 지식 (KMMLU) | 63.0 | 68.0 | 100 |
| 코딩 (HumanEval) | 91.1 | 95.6 | 90 |
| 지시 따르기 | 82.0 | 82.0 | 100 |
| 유해 요청 거절 | 25/25 | 25/25 | 25 |
| 유해해 보이지만 정상인 요청을 거절한 수 | 0/25 | 2/25 | 25 |
문항 수가 적어 1~5%p 차이는 통계적으로 구분되지 않습니다. 유해 요청은 두 모델 모두 전부 거절했습니다.
사용법
벤치 저장소의 prompt_contract.txt 지시문을 시스템 또는 사용자 메시지 앞에 두고, 정책과 고객 요청을 이어 붙입니다.
응답은 {"action": ...} JSON 한 개입니다. vLLM 등 Qwen3.8 호환 서빙에서 그대로 동작합니다.
학습
LoRA 지도 미세조정 후 병합. 학습 데이터는 합성 한국어 기업 정책 시나리오이며 공개하지 않습니다. 벤치 문항은 학습에 쓰지 않았습니다.
한계
벤치는 합성 정책·요청으로 만들었습니다. 실제 업무에 쓰기 전에 자사 정책과 도구로 따로 검증하세요. 도구 목록은 이 체크포인트에 내장돼 있지 않습니다 — 도구 호출이 필요한 행동을 고를 뿐, 실제 호출 인자는 서비스 쪽 스키마로 받아야 합니다.