Darwin-28B-KOREA
한국어/영어 이중언어 추론에 최적화된 28B 파라미터 모델
VIDRAFT Darwin 시리즈의 PERFECT 부모 페어 머지 1호. 두 부모 모델의 가중치를 per-layer 동적 비율로 결합하여, 부모 어느 한쪽보다도 우수하지 않은 부분 없이 모든 영역에서 동등 이상의 성능을 달성.
부모 모델 (PERFECT Pair)
| Role | Model | Strength |
|---|---|---|
| Father | FINAL-Bench/Darwin-28B-Opus | 영어 추론, 속도, 토큰 절제 |
| Mother | ginigen-ai/Rogue-28B-MIX | 한국어 네이티브, 깊은 한국어 reasoning |
부모 페어 호환성: hidden=5120, intermediate=17408, layers=64 (완전 일치 PERFECT pair).
머지 방식
- 알고리즘: Per-layer linear interpolation in float32, bfloat16 cast
- t vector: 64 레이어 동적 가중치 (mean t=0.513)
- Golden Reasoning Layer (L47): t=0.90 (Mother dominant)
- Output Router (L63): t=0.53
- MRI (Model MRI) telemetry 기반 per-layer probe_distance + hidden_norm 분석
- 챗 템플릿/토크나이저: Father 기준 (Qwen3_5ForConditionalGeneration multimodal)
평가 결과 (35-sample 3-way bench, max_tokens=5120)
| 평가 항목 | Father | Mother | KOREA (Child) |
|---|---|---|---|
| 정확도 (29개 객관식) | 96.6% | 96.6% | 96.6% |
| 진짜 정확도 (gpqa_01 채점오류 반영) | 100% | 100% | 100% |
| 한국어 출력률 (한국어 질문 23개) | 91.3% | 95.7% | 91.3% |
| 영어 thinking | 31/35 | 10/35 | 31/35 |
| 평균 응답 토큰 | 458 | 631 | 521 |
| 5120 cap 도달 | 0/35 | 2/35 | 1/35 |
Win/Loss 분석:
- Father vs Child: 0:0 동률
- Mother vs Child: 0:0 동률
- → 자식이 두 부모와 완전 동급, 어느 한쪽보다 약한 영역 없음
Reasoning 깊이 흡수: 한국어 논리 카테고리에서 Mother(2620t)와 Child(2724t) 평균 답 길이 유사 → Mother의 long-chain reasoning 패턴 전이 성공.
사용 권장
- 권장 max_tokens: 1024 이상 (chain-of-thought 특성상 256 토큰에서 답이 잘릴 수 있음)
- 사고 패턴: 영어 reasoning 후 한국어 답변. 답만 정확하면 OK인 경우 권장.
- 순수 한국어 reasoning 원하면: 부모 Rogue-28B-MIX 단독 사용 추천.
Quick Start
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained(
"VIDraft/Darwin-28B-KOREA",
torch_dtype=torch.bfloat16,
device_map="auto",
trust_remote_code=True,
)
tok = AutoTokenizer.from_pretrained("VIDraft/Darwin-28B-KOREA", trust_remote_code=True)
msgs = [{"role": "user", "content": "대한민국 헌법 제10조의 핵심 내용을 한 문장으로 요약."}]
inputs = tok.apply_chat_template(msgs, return_tensors="pt", add_generation_prompt=True).to(model.device)
out = model.generate(inputs, max_new_tokens=1024, do_sample=False, pad_token_id=tok.eos_token_id)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))
License
Apache 2.0 (부모 모델 상속).
Citation / Acknowledgment
VIDRAFT Darwin Family — Evolutionary Model Merge Research. Pair: Darwin-28B-Opus × Rogue-28B-MIX → Darwin-28B-KOREA (PERFECT pair, 2026-05-14)
Built with the Darwin Factory pipeline. 16 customer orders bridged by single base model.