Mistral-7B ARC submission — V3-D75-R-s43
학습 조건
- Base revision:
27d67f1b5f57dc0953326b2601d68371d40ea8da - ARC-Easy train 1,500 + OpenBookQA train 500, 합성 데이터 0.
- 표본 해시:
71d9fd3b78d07030be343beb33dc4eda469b01d979c2212a009990bcfeb842b5 - BF16 LoRA: r=16, alpha=32, dropout=0.05; FP16 base에 병합하여 저장.
- 250 optimizer steps, micro batch=1, gradient accumulation=16, LR=5e-5, cosine, warmup_steps=7.
- seed=43, data_seed=42. 정답 토큰 CE + 0.1 × 보기 순위 CE, temperature=0.1.
- 입력: Question: ... / Answer: ...; 추가 BOS/EOS 없음.
이번 실행의 평가 결과
ARC-Challenge test 1,172개, 25-shot, harness 6d2abda4fd171e68a8789330c4149e37c1ca0bda.
| 모델 | acc (%) | acc_norm (%) |
|---|---|---|
| B0 | 56.9966 | 61.2628 |
| 최종 모델 | 63.9078 | 68.6007 |
기존 탐색에서 test 성능을 모델 선택에 사용했습니다. 이 결과를 독립적인 미관측 test 추정치로 해석하지 않습니다. 학습 전반과 실제 평가는 제출 노트북으로 재현합니다. 세부 설정은 reproducibility/ 폴더에 있습니다.
원천 데이터
AI2 ARC, OpenBookQA. 일반 대화 품질이나 추론 능력 전반을 별도로 검증한 모델은 아닙니다.