KAWK 500M Korean Instruct v1

한국어에 학습 예산을 집중한 소형 언어모델을 tokenizer부터 직접 만들면 어느 정도의 성능을 얻을 수 있는가를 검증하기 위해 개발한 505M 파라미터 한국어 대화 모델입니다.

기존 다국어 모델을 한국어로 미세조정한 모델이 아닙니다. 한국어 중심 말뭉치로 32K SentencePiece tokenizer를 새로 만들고, Llama 계열 Base를 약 10B tokens 처음부터 사전학습한 뒤 한국어 지시 데이터로 SFT했습니다. KAWK-50M에서 데이터 정제, objective 검증, checkpoint 재개, 장문 CPT와 평가 pipeline을 먼저 검증한 뒤 규모를 500M으로 확장했습니다.

목표는 가장 큰 범용 모델을 만드는 것이 아니라 다음을 재현 가능한 한 흐름으로 구현하는 것이었습니다.

• 한국어에 맞춘 tokenizer와 parameter 배분
• 한국어 중심 pretraining dataset의 정제·중복 제거·streaming
• scratch pretraining과 assistant-only SFT
• 소비자 GPU에서의 공개 benchmark
• 성공 결과뿐 아니라 설정·로그·평가 조건까지 공개

모델 구조

한국어 문장 안에 자연스럽게 포함된 영문 이름, 숫자, 단위와 기호는 유지했지만 영어·코드·수학 전용 pretraining source를 별도로 혼합하지 않았습니다.

Base 사전학습

• Dataset: Infinity08/KAWK500M-Korean-Pretraining-10B
• Dataset revision: a08539316e6dcf1d194c6d1684a43e3526e11a63로 고정
• 유효 학습량: 10,000,097,280 tokens
• Sequence length: 2,048
• Optimizer steps: 81,381
• Precision / GPU: BF16 / NVIDIA H100 SXM 80GB
• 평균 처리량: 약 60.35K tokens/s
• 최종 validation loss / perplexity: 2.52412 / 12.48

Base의 tokenizer, model config, 학습 설정과 checkpoint는 프로젝트 기록에 보존했습니다. 현재 이 Hugging Face 저장소는 해당 Base에 SFT를 적용한 최종 Instruct checkpoint입니다.

SFT 데이터와 학습

SFT에는 이전 50M용 대화/RAG corpus를 그대로 재사용하지 않고, 500M 모델용으로 새로 정제한 Infinity08/KAWK500M-Korean-SFT-v1을 사용했습니다.

처리 과정에서 NFC 정규화, 개인정보 형태 마스킹, 명시적 code/LaTeX/수식 중심 샘플 제거, 한국어 비율·반복·기호·목록 품질 필터, 원천 간 exact dedup을 적용했습니다. 사용자·system token은 loss_mask=0, assistant 답변과 EOS만 loss_mask=1입니다.

사용 예시

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "Infinity08/KAWK-500M-Korean-Instruct-v1"
tokenizer = AutoTokenizer.from_pretrained(repo_id, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(
    repo_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "user", "content": "대한민국의 수도를 한 문장으로 설명해줘."}
]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    repetition_penalty=1.05,
)
new_tokens = outputs[0, inputs["input_ids"].shape[1]:]
print(tokenizer.decode(new_tokens, skip_special_tokens=True))

토크나이저의 chat_template.jinja는 ### 지침:, ### 사용자:, ### 도우미: 역할 헤더를 사용합니다.

Benchmark

lm-evaluation-harness 0.4.12, 0-shot, BF16, 최대 문맥 1,024, chat template 미적용 조건입니다. RTX 4090에서 seed 1234와 bootstrap 1,000회로 평가했습니다.

KAWK는 동급의 0.36B0.5B 비교 모델보다 이 실행의 KoBEST aggregate가 높았고, 1.2B1.5B 일부 모델과도 KoBEST에서 비슷하거나 높은 항목이 있었습니다. 반면 KMMLU는 모든 비교 모델보다 낮아 지식 습득량과 전문 지식에서 큰 한계가 드러났습니다. 서로 다른 tokenizer, 학습 데이터, instruct format을 사용하는 모델의 결과이므로 이 표는 동일 실행 조건에서의 참고치이지 모든 한국어 능력을 대표하는 순위가 아닙니다.

원시 JSON, 세부 task별 CSV와 manifest는 이 저장소의 evaluation/에 있습니다.

적합한 용도

• 소형 한국어 LM 및 parameter-efficiency 연구
• 한국어 generation·instruction-tuning 실험
• 제한된 VRAM 환경의 로컬 추론
• 한국어 tokenizer와 데이터 pipeline 교육

한계와 주의사항

• 500M급이므로 복잡한 추론, 전문 지식, 사실 회상이 제한적입니다.
• 답을 모를 때도 그럴듯한 오답을 생성할 수 있습니다.
• 반복, 지시 누락, 긴 대화의 정보 손실이 발생할 수 있습니다.
• 포괄적인 안전 정렬·red teaming·개인정보 재현 평가가 완료되지 않았습니다.
• 의료·법률·금융·보안 등 고위험 의사결정에 사용하지 마십시오.
• SFT 원천의 편향과 오류를 재현할 수 있으므로 각 upstream dataset의 조건도 확인해야 합니다.

관련 자료

• 500M pretraining dataset
• 500M SFT dataset
• 50M Base
• 50M long-context Base
• 50M Instruct