med-ruri-v3-310m
日本語の医療ドメインに特化した文埋め込み (sentence embedding) モデル。
cl-nagoya/ruri-v3-310m (ModernBERT-Ja, 768次元, 8192 context)
をベースに、医療ドメインの検索タスクで fine-tune しています。
in-domain 医療検索 nDCG@10: 0.305 (base) → 0.434 (+42%)
Ruri prefix (重要)
Ruri 系と同じく 1+3 prefix を付けて使います (付けないと精度が落ちます)。
- クエリ:
検索クエリ: - 文書:
検索文書:
prefix はモデル設定に登録済みなので prompt_name で自動付与できます。
使い方
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("genshiai-daichi/med-ruri-v3-310m")
queries = ["バンコマイシンのトラフ目標値は?"]
docs = ["MRSA 感染症における Vancomycin の TDM では ..."]
q = model.encode(queries, prompt_name="query", normalize_embeddings=True)
d = model.encode(docs, prompt_name="document", normalize_embeddings=True)
scores = q @ d.T # cosine similarity
評価 (in-domain retrieval, held-out 2,000 queries)
| nDCG@10 | |
|---|---|
cl-nagoya/ruri-v3-310m (base) | 0.3048 |
| med-ruri-v3-310m (step 3500) | 0.4338 |
用途
- 日本語の医療文書 (診療ガイドライン等) に対する 意味検索 / retrieval
- 医療 RAG の retriever (質問 → 関連 passage の検索)
- 文書間の意味的類似度・クラスタリング
制限事項
- 日本語の医療ドメイン特化。一般ドメインや他言語は base モデルの素の性能に近づきます
- 上記 nDCG は held-out の合成クエリでの in-domain 評価であり、実運用性能は別途検証を推奨
- 推論時は prefix 必須 (
検索クエリ:/検索文書:)
学習経過 (training progression)
fine-tune 中の held-out 検索性能 (500 step ごとに評価):
| step | nDCG@10 |
|---|---|
| (base) | 0.3048 |
| 500 | 0.3887 |
| 1000 | 0.4108 |
| 1500 | 0.4178 |
| 2000 | 0.4246 |
| 2500 | 0.4233 |
| 3000 | 0.4292 |
| 3500 | 0.4338 |
| 4000 | 0.4328 |
| 4500 | 0.4308 |
| 5000 | 0.4308 |
| 5500 | 0.4320 |
| 5880 | 0.4311 |
学習 loss (MultipleNegativesRankingLoss)
| step | loss |
|---|---|
| 50 | 3.338 |
| 750 | 0.978 |
| 1450 | 0.796 |
| 2150 | 0.751 |
| 2850 | 0.689 |
| 3550 | 0.634 |
| 4250 | 0.618 |
| 4950 | 0.603 |
| 5650 | 0.622 |
| 5850 | 0.634 |
学習設定
- base:
cl-nagoya/ruri-v3-310m - loss: MultipleNegativesRankingLoss (scale=50, temperature=0.02)
- 1 epoch (5880 steps), best = step 3500 (0.60 epoch 相当)
- batch 192 / max_seq 768 / lr 3e-5 / bf16 + gradient checkpointing
- query/passage に Ruri prefix を付与して contrastive 学習
チェックポイント
学習途中の checkpoint は step-N ブランチに保存されています
(SentenceTransformer("genshiai-daichi/med-ruri-v3-310m", revision="step-3500"))。
main は nDCG@10 が最良の checkpoint (step 3500) です。