HyperCLOVA X U-CURATE Random Merged v0.1
Powered by HyperCLOVA X
K-DS 해커톤 예선과 K-AI 리더보드 평가를 위해 만든 독립 실행형 한국어 fine-tuned model입니다. HyperCLOVA X SEED Text Instruct 1.5B의 고정 revision에 U-CURATE Random QLoRA adapter를 병합했습니다. 이 저장소는 별도 base model이나 PEFT adapter 없이 AutoModelForCausalLM과 vLLM이 직접 읽을 수 있는 full-model artifact를 제공합니다.
모델 정보
- Model type: Fine-tuning, merged full model
- Base:
naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B - Base revision:
0728a47d632019a8da5f53b663db1c175dc04115 - Architecture:
LlamaForCausalLM - Weight dtype: BF16
- Weight format: sharded safetensors
- Fine-tuning: 4-bit NF4 QLoRA, assistant-only masking
- Random adapter SHA-256:
2ef68c9b159f7560a38ab153e739dea5ef042dde89c46cd37a359ae977cfc326
학습 데이터
AIHUB_71533 기술과학 문서 기계독해: 193건AIHUB_569 행정문서 대상 기계독해: 207건- 총 400건
AI Hub 원문 학습 데이터는 이 저장소에 포함하지 않습니다.
학습 요약
- LoRA targets:
q_proj,k_proj,v_proj,o_proj - LoRA:
r=8,alpha=16,dropout=0.05 - Batch 1, gradient accumulation 8
- 50 optimizer steps, seed 42
- Max sequence length 2,048, truncation off, packing off
- Learning rate
1e-4, cosine scheduler, 3 warmup steps - Formatted tokens: 298,831
- Supervised tokens: 4,303 (1.4399%)
U-CURATE 내부 검증
동일 holdout 200건(AIHUB_71533 100 + AIHUB_569 100)을 사용한 단일-seed 예비 결과입니다. K-AI 공식 점수나 통계적 우월성 주장이 아닙니다.
| 조건 | 전체 primary | AIHUB_71533 | AIHUB_569 |
|---|---|---|---|
| Base | 0.21097 | 0.22590 | 0.19604 |
| Random | 0.43349 | 0.35252 | 0.51446 |
Random은 사전에 고정한 source-level degradation gate를 위반하지 않은 최초 제출 기준선입니다.
Transformers 사용
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "hoySky92/HyperCLOVA-X-U-CURATE-Random-Merged-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto",
)
messages = [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
with torch.inference_mode():
outputs = model.generate(
**inputs,
do_sample=False,
max_new_tokens=64,
tokenizer=tokenizer,
stop_strings=["<|endofturn|>", "<|stop|>"],
pad_token_id=tokenizer.eos_token_id,
)
print(tokenizer.decode(outputs[0, inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
vLLM 사용
vllm serve hoySky92/HyperCLOVA-X-U-CURATE-Random-Merged-v0.1
K-AI 최초 추론 파라미터 기준은 temperature=0, top_p=1, top_k=20입니다.
한계
- 400건, 단일 seed의 소규모 예비 fine-tuning입니다.
- 내부 검증은 AI Hub 두 데이터셋의 200건 holdout에 한정됩니다.
- 일반 한국어 추론 또는 K-AI 성능을 보장하지 않습니다.
- 산술·사실성 오류, 편향 및 환각이 발생할 수 있습니다.
- 고위험 의사결정에 검증 없이 사용하지 마세요.
라이선스와 사용 제한
이 derivative model은 저장소의 LICENSE에 포함된 HyperCLOVA X SEED Model License Agreement를 따릅니다. 재배포·상업 이용·귀속·명명·금지 용도 조건을 포함한 전체 계약을 확인하세요.
불법 감시, 필요한 동의 없는 불법 생체정보 수집·처리, 불법 괴롭힘·학대·위협·집단 따돌림, 타인을 의도적으로 오도하거나 기만하는 용도 및 기타 법령 위반 용도는 금지됩니다. 변경 사항은 MODIFICATIONS.md, 귀속 고지는 NOTICE를 참조하세요.