yejin-korean-1b-v8-sft 🚀
yejin-korean-1b-v8-sft는 한국어 172GB+ 고품질 코퍼스로 100% 바닥부터 사전학습(Pre-trained from Scratch)된
yejin-korean-1b-v8베이스 모델에 KMMLU, KoAlpaca, 한국어 교과서 지시문을 결합하여 지도 미세조정(Supervised Fine-Tuning)을 완료한 1B 한국어 소형 파운데이션 모델입니다.
📊 모델 아키텍처 사양
- 기반 규격: Llama 3 참조 아키텍처 (
hidden=2048,layers=18,heads=16,kv_heads=4,intermediate=5632,GQA 4:1,RoPE θ=10000) - 파라미터 수: 약 9억 3,200만 (0.93B)
- 토크나이저:
EleutherAI/polyglot-ko-1.3b(어휘 크기: 30,003) - 컨텍스트 길이: 4,096 토큰
- 포맷:
safetensors(Float32 / BFloat16)
🚀 사용 예시 (Python Transformers)
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "cooler8/yejin-korean-1b-v8-sft"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float32, device_map="auto")
prompt = "### 지시사항:\n인공지능이란 무엇인지 초등학생도 알기 쉽게 설명해줘.\n\n### 답변:\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(
input_ids=inputs["input_ids"],
attention_mask=inputs["attention_mask"],
max_new_tokens=200,
temperature=0.7,
top_p=0.9,
repetition_penalty=1.15
)
print(tokenizer.decode(output[0], skip_special_tokens=True))
💡 프롬프트 포맷 (Prompt Template)
### 지시사항:
{사용자 질문 또는 지시문}
### 답변:
{모델 생성 답변}