KorMedMCQA — klue/roberta-base 파인튜닝
한국 의사 국가고시(KorMedMCQA) doctor 데이터셋으로 파인튜닝한 5지선다 분류 모델입니다.
모델 정보
| 항목 | 내용 |
|---|---|
| 베이스 모델 | klue/roberta-base |
| 태스크 | 한국어 의료 5지선다 QA |
| 데이터셋 | sean0042/KorMedMCQA (doctor config) |
| 훈련 데이터 | train 1,890 / dev 164 / test 435 |
| 에포크 | 3 |
| 배치 크기 | 16 |
| 학습률 | 2e-5 |
사용법
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
REPO_ID = '47ag925/kormed-mcqa-klue-roberta'
tokenizer = AutoTokenizer.from_pretrained(REPO_ID)
model = AutoModelForSequenceClassification.from_pretrained(REPO_ID)
model.eval()
CHOICES = ['A', 'B', 'C', 'D', 'E']
def predict(question, options):
text = question
for c, opt in zip(CHOICES, options):
text += f' {c}: {opt}'
inputs = tokenizer(text, return_tensors='pt', truncation=True, max_length=256)
with torch.no_grad():
logits = model(**inputs).logits
return CHOICES[logits.argmax(-1).item()]
한계
- 소규모 데이터(1,890건)로 학습 → 전문 의료 지식 완전 습득 한계
- 한국 의사 국가고시 도메인 외 일반 의학 QA에는 성능 저하 가능